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《经 济 学 人 》 说 ， 在 大 数据 领域 ， 他 是 最 受 人 尊敬 的 权威 发 言 人 之 一 ; 

《科学 》 说 ， 若 要 发 起 一 场 关于 这 个 问题 的 深入 讨论 ,没有 比 他 更 好 的 发 起 者 了 。 
他 是 欧盟 互联 网 官方 政策 背后 的 重要 制定 者 与 参与 者 ; 

他 是 最 早 洞 见 大 数据 时 代 发 展 趋势 的 数据 科学 家 之 一 ; 

他 ,就 是 维克托 * 迈 尔 - 舍 恩 伯 格 。 


BDA GIRS 
an 
维克托 迈 尔 - 舍 恩 伯 格 二 十 多 年 来 一 
直 致 力 于 网 络 经 济 、 信 息 与 创新 、 信 息 
监管 、 网 络 规范 与 战略 管理 的 研究 。 
从 维也纳 大 学 到 哈佛 大 学 ， 从 新 加 坡 国 
立 大 学 到 牛津 大 学 ， 世 界 上 最 著名 的 互 
联网 研究 学 府 都 留 下 了 他 的 足迹 。 辐 本 


目 负责 人 ， 哈 佛 国家 电子 商务 研究 
心 网 络 监管 项 目 负 责 人 。 在 哈佛 大 学 任 
教 10 年 后 ，2008 年 ， 他 远 渡 重 洋 ， 来 到 
新 加 坡 国 立 大 学 担任 信息 政策 研究 中 心 主 
任 ， 以 它 新 的 视角 洞察 亚洲 信息 政策 。 期 
间 还 担任 耶鲁 大 学 、 弗 吉 尼 亚 大 学 、 圣 地 
亚 哥 大 学 、 芝 加 哥 大 学 、 维 也 纳 大 学 等 多 
所 知名 学 府 的 客座 教授 。 
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而 现在 ， 在 数据 信息 界 孜 孜 不 倦 求索 
的 维克托 ， 是 世界 著名 学 府 牛 津 大 学 网 络 
学 院 互联 网 研究 所 治理 与 监管 专业 教授 ， 
牛津 大 学 克 伯 学 院 教授 研究 员 。 法 学 、 信 
息 学 与 网 络 等 多 学 科 的 跨 界 融合 ， 让 他 不 
仅 拥有 严谨 的 思维 ， 更 拥有 广博 的 视野 。 他 


先后 有 100 多 篇 论文 公开 发 表 在 《科学 》《 自 
然 》 等 著名 学 术 期 刊 上 ， 同时 也 是 多 家 出 
版 机 构 的 特约 评论 员 ， 包括 哈 佛 大 学 出 版 
社 、 麻 省 理工 学 院 出 版 社 、 通 信 政 策 期 刊 、 
美国 社会 学 期 刊 等 。 


开 大 数据 系统 研究 之 先河 
ae 
他 说 ， 世 界 的 本 质 就 是 数据 ， 大 数据 将 
开启 一 次 重大 的 时 代 转 型 ; 
他 说 ， 大 数据 发 展 的 核心 动力 来 源 于 人 
类 测量 、 记 录 和 分 析 世 界 的 渴望 。 
他 说 ， 从 因果 关系 到 相关 关系 的 思维 变 
革 才 是 大 数据 的 关键 ， 建 立 在 相关 关系 
分 析 法 基础 上 的 预测 才 是 大 数据 的 核 
Ù. 98 


N14 AMHERERROEN , 维克托 早 

已 进行 了 系统 而 深入 的 研究 。 早 在 
2010 年 ， 他 已 经 在 《经 济 学 人 》 上 和 数据 
编辑 肯 尼 思 。 库 克 耶 一 起 ， 发 表 了 长 达 14 
页 的 大 数据 专题 文章 ， 成 为 最 早 洞 见 大 数 
据 时 代 发 展 趋势 的 数据 科学 家 之 一 。 


从 大 数据 时 代 的 思维 变革 到 商业 变革 ， 
从 大 数据 时 代 的 隐忧 到 管理 变革 ， 他 在 大 
数据 的 蓝 色 海 洋 中 预见 了 正在 发 生 的 未 来 。 


大 数据 取舍 之 首 

mE 

维克托 的 继父 去 世 时 留 下 了 16 000 5k 
收藏 的 照片 ， 这 些 照片 都 是 他 几 十 年 来 
周游 世界 时 的 影像 记录 。 

为 了 确定 哪些 照片 需要 保留 ， 维 克 托 制 
定 了 两 条 规则 : 首先 ， 照 片上 有 认识 或 
可 能 认识 的 人 ; 其 次 ， 照 片 拍摄 得 很 漂 
stdin 


许 正 是 这 一 人 生 的 片段 ， 让 他 开始 重 

新 思考 “被 遗忘 的 权利 ”与 互联 时 代 
的 取舍 之 道 ， 并 最 终 成 就 了 他 的 《删除 》 
一 书 : “过 去 正 像 刺 青 一 样 被 刻 在 我 们 的 
数字 皮肤 上 ， 遗忘 已 经 变 成 了 例外 ， 而 记 
忆 却 成 了 常态 .…..” 大 数据 时 代 ， 人 类 又 该 
如 何 构 建 积极 而 安全 的 未 来 ? 


《删除 》 一 经 出 版 ， 即 获得 美国 政治 
科学 协会 颁发 的 “ 唐 K 普 赖 斯 奖 ” 以 及 


媒介 环境 学 会 的 最 高 荣誉 “ 马 软 尔 。 麦 克 
上 户 汉 奖 ”， 同 时 受到 《 连 线 》《 自 然 》《 华 
尔 街 日 报 》《 纽 约 时报 》 等 各 大 权威 媒体 
的 广泛 好 评 。 


大 数据 商业 应 用 的 引路 人 


a 早 在 上 大 学 期 
间 ， 他 就 先后 创立 了 两 家 数据 安全 和 制 
作 反 病毒 软件 的 公司 ， 并 担任 总 裁 兼 
CEO. 

由 他 的 公司 开发 的 反 病 毒 程序 ， 一 经 推 
出 即 一 跃 成 为 奥地利 当时 最 畅销 的 软件 
产品 。1991 年 ， 他 跻身 奥地利 软件 企 
业 家 前 5 名 之 列 ，2000 年 成 为 奥地利 
萨 尔 斯 堡 州 的 年 度 人 物 。 国 国 


阔 的 学 术 视 野 与 系统 的 学 术 造 证， 更 
让 他 不 断 为 企业 与 商业 应 用 提供 强大 
的 理论 支持 。 他 的 咨询 客户 包括 微软 、 惠普、 
IBM、 亚 马 逊 、facebook、twitter、VISA 
等 大 数据 先锋 们 ， 所 以 在 《大 数据 时 代 》 
一 书 中 ， 他 才能 掌握 最 前 沿 、 最 新 新 的 大 数 


据 应 用 案例 ， 并 对 大 数据 的 价值 链 与 角色 
定位 给 予 清晰 的 预见 。 


欧盟 专家 与 真正 的 “亚洲 通 ” 
an 

他 是 欧盟 互联 网 官方 政策 背后 真正 的 制 
定 者 与 参与 者 ; 他 是 世界 经 济 论坛 、 
马 吹 尔 计划 基金 会 等 重要 机 构 的 策略 顾 
问 ; 他 是 众多 国家 政府 高 层 的 信息 政策 
智囊 ， 包 括 俄罗斯 商务 部 高 层 、 瑞 士 联 邦 政 
府 、 和 荷兰 政府 高 层 等 。 辐 国 


维克托 . 迈 尔 - 舍 恩 伯 格 作品 系列 
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>_ 为 重要 的 是 ， 他 特别 熟悉 亚洲 信息 产 

业 的 发 展 与 战略 布局 ， 一 直 专 注 于 信 

息 安全 、 信 息 政策 与 战略 的 研究 ， 先 后 担 

任 新 加 坡 商 务 部 高 层 、 文 莱 国 防 部 高 层 、 

科威特 商务 部 高 层 、 迪 拜 及 中 东 政 府 高 层 
的 咨询 顾问 。 


正如 大 数据 提供 的 不 是 最 终 答案 ， 
是 参考 答案 一 fe, 大 数据 正在 改变 我 们 的 
生活 以 及 理解 世界 的 方式 ， 正 在 成 为 新 发 
明和 新 服务 的 源泉 ， 而 维克托 。 迈 尔 - BA 
伯 格 更 多 的 大 数据 研究 也 在 蕾 势 待 发 … 
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推荐 序 一 拥抱 “大 数据 时 代 ” 
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WEBSITE, KAND EERE ° BAA BEF ALLA A 
市 ”计算 设备 的 出 现 ， 我 们 的 行为 、 位 置 ， 甚 至 身体 生理 数据 等 每 一 点 
变化 都 成 为 了 可 被 记录 和 分 析 的 数据 。 以 此 为 基础 ,，“ 反 馈 经 

济 ” (feedback economy) 等 新 经 济 、 新 商业 模式 也 正在 开始 形成 。 维 
死 托 . 迈 尔 - 舍 恩 伯 格 教授 这 本 《大 数据 时 代 》， 是 我 看 到 的 最 好 的 大 
数据 著作 ， 不 管 对 于 产业 实践 者 ， 还 是 对 于 政府 和 公众 机 构 ， 都 古 非 
常 具 有 价值 的 。 


如 今 ， 一 个 大 规模 生产 、 分 至 和 应 用 数据 的 时 代 正 在 开启 。 正 如 维 克 
托 教 授 所 说 ， 大 数据 的 真实 价值 束 像 漂浮 在 海洋 中 的 冰山 ， 第 一 服 只 
能 看 到 冰山 的 一 角 ， 绝 大 部 分 都 隐藏 在 表面 之 下 。 而 发 气 数 据 价值 、 
征服 数据 海洋 的 “动力 ” 束 是 云 计 算 。 互 联网 时 代 ， 尤 其 是 社交 网 络 、 
电子 商务 与 移动 通信 把 人 类 社会 带 入 了 一 个 以 “PB”(1024TB) 为 单位 
的 结构 与 非 结构 数据 信息 的 新 时 代 。 在 云 计 算出 现 之 前 ,传统 的 计算 
机 十 无 法 处 理 如 此 量 大 、 并 且 不 规则 的 * 非 结构 数据 ”的 。 以 云 计 算 为 
基础 的 信息 存储 、 分 享 和 挖掘 手段 ， 可 以 便宜 、 有效 地 将 这 些 大 量 、 
高 速 、 多 变化 的 终端 数据 存储 下 来 ， 并 随时 进行 分 析 与 计算 。 大 数据 
与 云 计 算是 一 个 问题 的 两 面 : 一 个 是 问题 ， 一 个 是 解决 问题 的 方法 。 
通过 云 计 算 对 大 数据 进行 分 析 、 预 测 ， 会 使 得 决策 更 为 精准 ， 释 放出 
更 多 数据 的 隐藏 价值 。 数 据 ， 这 个 21 世 纪 人 类 探索 的 新 边疆 ， 正 在 被 
云 计 算 发 现 、 征 服 。 


《大 数据 时 代 》 列 举 了 众多 在 公共 卫生 、 商 业 服 务 领域 大 数据 变革 的 
例子 。 一 旦 “不 再 退 求 精确 度 ， 不 再 退 求 因 琳 关 系 ， 而 是 承认 混杂 性 ， 
探索 相关 关系 ”,， “思维 转 变 过 来 ， 数 据 束 能 个 巧妙 地 用 来 激发 新 产品 
和 新 型 服务 ”。 数 据 正成 为 巨大 的 经 济 资 产 ， 成 为 新 世纪 的 矿产 与 石 
油 ， 将 市 来 全 新 的 创业 方向 、 商 业 模式 和 投资 机 会 。 


庞大 的 人 群 和 应 用 市 场 ， 复杂 性 高 、 充 满 变化 ， 使 得 中 国 成 为 世界 上 
最 复杂 的 大 数据 国家 。 解 决 这 种 由 大 规模 数据 引发 的 问题 ， 探 索 以 大 
数据 为 基础 的 解决 方案 ， 是 中 国产 业 升 级 、 效 率 提高 的 重要 手段 。 数 
据 挖 掘 不 仅 能 够 成 为 公司 竞争 力 的 来 源 ， 也 将 成 为 国家 竞争 力 的 一 部 


分 。 联 系 到 我 国 现代 化 所 面临 的 种 种 问题 以 及 教育 、 交 通 、 医 疗 保健 
等 各 方面 挑战 ， 通 过 大 数据 这 种 创新 方式 来 解决 问题 ， 创 建新 的 产业 
群 ， 实 现 “ 中 国 制造 到 中 国 创造 ?的 改变 ， 意 义 驶 更 大 。 


“大 数据 ”发 展 的 障碍 ， 在 于 数据 的 “流动 性 "和 “可 获取 性 ”。 美 国政 府 
创建 了 Data.gov 网 站 ， 为 大 数据 敞开 了 大 门 ; 英国 、 印 度 也 有 “数据 公 
开 ” 运 动 。 中 国 要 赶 上 这 样 一 场 大 数据 变 单 ， 各 界 应 该 首先 开始 莹 试 公 
开 数 据 、 方 式 与 方法 。 如 同 工 业 章 命 要 开放 物质 交易 、 流 通 一 样 ， 开 
放 、 流 通 的 数据 是 时 代 趋 势 的 要 求 。《 大 数据 时 代 》 一 书 也 提 人 到 了 数 
HAAN ` 隐私 性 保护 等 问题 ， 但 相 比较 来 看 ， 痢 科技 可 能 市 来 的 改 
变 要 远 远 大 于 其 存在 的 问题 。 


本 书 的 译 者 周涛 教授 是 我 国 最 年 轻 有 为 的 大 数据 专家 。 这 位 27 岁 的 天 
才 型 教授 ， 数 年 来 一 直 市 领 我 国学 术 界 在 大 数据 研究 上 回国 际 一流 看 
齐 。 更 可 贯 的 是 ， 他 不 仅 做 人 研究， 也 关注 着 研究 成 采 的 商业 化 及 传 
播 。 这 部 译 闭 丈 是 他 这 种 努力 的 一 个 成 采 。 


现代 历史 上 的 历次 技术 章 命 ， 中 国 均 是 学 习 者 。 而 在 这 次 云 计算 与 大 
数据 的 新 变革 中 ， 中 国 与 世界 的 距离 最 小 ， 在 很 多 领域 甚至 还 有 着 创 
新 与 领 乞 的 可 能 。 只 要 我 们 以 开放 的 心态 、 创 新 的 勇气 拥抱 * 大 数据 时 
代 ” 就 一 定 会 抓 住 历史 赋予 中 国 创新 的 机 会 。 


推荐 序 二 实 实在 在 大 数据 


国 互 联网 发 展 的 重要 参与 者 ， 知 名 IT 评论 人 谢 文 


因为 我 本 映 十 分 关注 大 数据 ， 也 写 过 铬 干 天 于 大 数据 的 文章 ， 做 过 大 
二 关于 大 数据 的 演讲 ， 所 以 对 有 关 这 一 主题 的 论文 和 书籍 非常 有 兴 

趣 。 过 去 几 年 ， 在 这 方面 我 读 过 十 几 本 书 、 上 百 篇 论文 和 文章 。 相 对 
而 言 ， 维 克 托 : 迈 尔 - 售 恩 们 格 教授 的 《大 数据 时 代 》 是 迄今 为 止 我 读 
过 的 最 好 的 一 本 专车， 中 英文 都 算 上 。 


此 书 的 一 大 贡献 吏 是 在 大 数据 方兴未艾 、 众 说 纷 弓 的 时 刻 ， 进 一 步 曾 
述 和 悍 清 了 大 数据 的 基本 概念 和 特点 ， 这 对 许多 以 为 大 数据 丈 是 “数据 
大 ”的 人 来 说 很 有 帮助 。 


在 人 类 历史 长 河中 ， 即 使 是 在 现代 社会 日 新 月 异 的 发 展 中 ， 和 人们 还 主 
要 是 依赖 抽样 数据 、 局 部 数据 和 厂 面 数据 ， 甚 至 在 无 法 获得 实证 数据 
的 时 候 纯粹 依 束 经验、 理论、 假设 和 价值 观 去 发 现 未 知 领域 的 规律 。 
因此 ， 人 们 对 世界 的 认识 往往 是 表面 的 、 肤 浅 的 、 人 简单 的 、 扭 曲 的 或 
者 是 无 知 的 。 维 殉 托 指出 ， 大 数据 时 代 的 来 临 使 人 类 第 一 次 有 机 会 和 
条 件 ， 在 非常 多 的 领域 和 非 第 深入 的 层次 获得 和 使 用 全 面 数据 、 完 整 
数据 和 系统 数据 ， 深 入 探索 现实 世界 的 规律 ， 获 取 过 去 不 可 能 获取 的 
知识 ， 得 到 过 去 无 法 企及 的 商机 。 


大 数据 的 出 现 ， 使 得 通过 数据 分 析 获 得 知识 、 商 机 和 社会 服务 的 能 

从 以 往 局 限于 少数 象牙 塔 之 中 的 学 术 精 英 圈 子 扩 大 到 了 普通 的 机 构 、 
企业 和 政府 部 门 。 门 德 的 降低 直接 导致 了 数据 的 容错 率 提 高 和 成 本 的 
降低 ， 但 正如 维克托 所 强调 的 ， 最 重要 的 是 人 们 可 以 在 很 大 程度 上 从 
对 于 因果 关系 的 追求 中 解脱 出 来 ， 转 而 将 注意 力 放 在 相关 关系 的 发 现 
和 使 用 上 。 只 要 发 现 了 两 个 现象 之 间 存 在 的 显著 相关 性 ， 束 可 以 创造 
巨大 的 经 济 或 社会 效益 ， 而 弄 清二 者 为 什么 相关 可 以 留待 学 者 们 慢 慢 
研究 。 大 数据 之 所 以 可 能 成 为 一 个 “时 代 ”， 在 很 大 程度 上 是 因为 这 是 
一 个 可 以 由 社会 各 界 广泛 参与 ， 八 面 出 击 ， 处 处 结果 的 社会 运动 ， 而 
不 仅仅 古 少 数 专 家 学 者 的 研究 对 象 。 


大 数据 将 逐渐 成 为 现代 社会 基础 设施 的 一 部 分 ， 束 像 公 路 、 铁 路 、 洪 
口 、 水 电 和 通信 网 络 一 样 不 可 或 缺 。 但 束 其 价值 特性 而 言 ， 大 数据 却 
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和 这 些 物理 化 的 基础 设施 不 同 ， 不 会 因为 人 们 的 使 用 而 折旧 和 贬值 。 
例如 ， 一 组 DNA 可 能 会 死亡 或 驳 灭 ， 但 数据 化 的 DNA 却 会 永存 。 所 
以 ， 维 死 托 狗 同 许多 物理 学 家 的 看 法 ， 世 界 的 本 质 束 是 数据 。 因 此 ， 
大 数据 时 代 的 经 济 学 、 政 治学 、 社 会 学 和 许多 科学 门类 都 会 发 生 巨大 
甚至 是 本 质 上 的 变化 和 人 发展， 进而 影响 人 类 的 价值 体系 、 知 识 体系 和 
生活 方式 。 哲 学 史上 和 争论 不 体 的 世界 可 知 论 和 不 可 知 论 将 会 转变 为 实 
证 科学 中 的 具体 问题 。 可 知性 是 绝对 的 ， 无 事 无 物 不 可 知 ; 不 可 知性 
征 相 对 的 ， 十 尚未 知道 的 意思 。 


对 于 不 从 事 网 络 业 、IT 业 以 及 数据 分 析 和 使 用 的 读者 ， 本 书 的 一 大 好 
处 就 古 通 俗 易 刷 ， 通 过 具体 实例 说 明 问 题 ， 有 助 于 人 们 的 理解 和 联 
想 。 在 时 限 上 ， 作 者 概括 了 直到 2012 年 7 月 大 数据 方向 上 的 最 新 发 展 ， 
避免 了 许多 同类 作品 存在 的 例证 过 于 陈旧 、 视野 相对 狭 罕 的 毛病 。 


作为 一 位 生活 在 欧美 现代 社会 的 学 者 ， 维 克 托 是 把 民主 、 开 放 和 理性 
作为 已 知 前 提 来 讨论 大 数据 章 命 的 。 这 对 生活 在 发 展 中 国家 ， 社 会 现 
代 化 程度 尚且 有 限 的 读者 来 说 ， 也 许 是 个 遗憾 ， 因 为 书 中 描述 的 许多 
已 经 发 生 的 事例 可 能 更 像 是 神话 。 没 有 市 场 经 济 制度 和 法 治 体 系 作为 
基础 文 撑 ， 大 数据 很 可 能 成 为 发 达 国 家 在 下 一 轮 全 球 化 竞争 中 的 利 
郁 ， 而 发 展 中 国家 依然 处 于 被 动 依附 的 状态 之 中 。 人 整个 世界 可 能 被 割 
裂 为 大 数据 时 代 、 小 数据 时 代 和 无 数据 时 代 。 


处 于 发 展 中 国家 前 列 的 中 国 ， 目 前 正面 临 着 一 个 重大 的 历史 抉择 关 

口 。 应 该 说 ， 在 过 去 的 三 十 余年 时 间 里 ， 中 国 在 快速 走 癌 工业 化 、 信 
尽 化 、 网 络 化 方面 交 出 了 一 份 不 错 的 成 绩 单 。 如 今 适 着 世界 走向 数据 
化 ， 迈 入 大 数据 时 代 的 时 刻 ， 无 论 对 个 人 、 企 业 还 是 对 社会 和 国家 ， 

都 有 认真 理解 、 严 肃 决 倘 的 必要 性 和 紧迫 性 。 哪 委 仅 从 这 一 点 考虑 ， 

读 一 读 这 本 书 也 是 很 值得 的 。 


译 者 序 
FE E SESE EIS 


电子 科技 大 学 教授 ， 互 联网 科学 中 心 主任 Jae 


接 下 翻译 这 本 《大 数据 时 代 》 的 任务 时 ， 我 的 目标 是 做 到 110% 的 好 。 
因为 作者 维克托 : 迈 尔 - 舍 恩 伯 格 毕竟 不 像 我 们 每 天 在 一 线 与 数据 后 杀 
搏斗 ， 其 爱 其 恨 都 更 深刻 。 特 别 地 ， 我 们 可 以 为 中 文 的 读者 补充 很 多 
中 国 的 例子 和 参考 资料 。 很 遗憾 ， 我 们 最 终 只 做 到 了 90%， 应 该 补充 
的 一 些 材 料 还 没有 整理 好 ， 焉 词 造句 也 多 有 生硬 疏忽 之 处 。 如 果 再 给 
我 一 个 月 的 时 间 ， 就 可 以 达到 我 预想 的 110% 甚 至 120%。 


为 什么 现在 把 这 个 版 本 呈现 给 诸位 呢 ? 一 是 因为 我 们 的 努力 使 得 本 书 
中 译本 的 出 版 和 英文 原版 完全 同步 ， 单 从 获取 知识 的 角度 讲 ， 我 们 一 
点 儿 不 比美 国 的 读者 慢 ! 二 是 我 相信 作者 在 书 中 的 一 个 重要 观点 ， 丈 
是 大 数据 时 代 ， 要 人 允许 一 点 点 的 错误 和 不 完美 ， 因 为 效率 可 能 更 加 重 
要 ! 留 下 一 些 可 供 提高 的 地 方 ， 也 使 得 我 们 的 每 一 次 印刷 ， 都 能 够 与 
以 前 有 所 不 同 。 杀 ， 这 不 是 建议 你 等 到 某 个 更 好 的 版 本 才 去 购买 ， 而 
是 说 ， 其 实 你 应 该 每 个 版 本 都 买 一 本 : ) 


《大 数据 时 代 》 这 本 书 是 200% 的 好 ， 因 此 90% 的 译本 也 绝对 值得 一 
读 。 首 先 ， 作 者 抛 出 了 大 数据 时 代 处 理 数据 理念 上 的 三 大 转变 : 要 全 
体 不 要 抽样 ， 要 效率 不 要 绝对 精确 ， 要 相关 不 要 因果 ; 接着 ， 从 万 事 
万 物 数据 化 和 数据 交叉 复 用 的 巨大 价值 两 个 方面 ， 讲 述 驱 动 大 数据 战 
车 在 材质 和 智力 方面 癌 前 滚动 的 最 根本 动力 ;最 后 ， 作 者 冷静 描绘 了 
大 数据 帝国 前 夜 的 脆弱 和 不 安 ， 包 括 产 业 生态 环境 、 数 据 安 全 隐私 、 


信息 公正 公开 等 问题 。 


国内 最 近 也 出 版 了 一 些 大 数据 方面 的 著作 ， 可 以 和 本 书 互 为 补充 。 却 
儿 的 《证 析 》 对 于 数据 通过 交叉 复 用 体现 的 新 价值 、 大 数据 战略 在 企 
业 与 政府 执行 层面 的 流程 和 大 数据 科学 家 这 一 新 职位 ， 以 及 围绕 这 个 
职位 的 能 力 和 员 任 给 出 了 最 深刻 、 最 具体 的 插 述 ， 子 沛 的 《大 数据 》 
对 于 数据 的 公正 性 、 公 平 性 以 及 信息 和 数据 管理 等 方面 理念 、 政 策 和 
执行 的 变化 ， 特 别 是 美国 在 这 方面 的 进展 ， 给 出 了 完整 的 介绍 ， 苏 


上 戎 、 林 森 和 我 合 车 的 《个 性 化 : 商业 的 未 来 》 则 对 大 数据 时 代 最 重要 
的 技术 一 一 个 性 化 技术 ， 以 及 与 之 相关 的 新 商业 模式 给 出 了 从 理念 到 
技术 细节 的 全 景 工笔 。 总 的 来 说 ， 这 三 本 书 都 针对 本 书 的 某 一 局 部 给 
出 了 更 深刻 的 介绍 和 洞 见 ， 也 各 有 明显 超出 本 书 的 优点 ， 但 三 本 之 和 
也 无 法 囊括 本 书 的 蘑 华 ， 亦 缺乏 本 书 的 宏大 视野 。 


简单 地 说 ， 这 本 书 好 在 三 个 地 方 : 


一 是 观点 丘 地 有 声 ， 绝 非 主流 媒体 上 知 干 讨论 的 简单 汇总 和 平均 ， 更 
不 是 一 个 安 大 概 念 面 前 暧昧 的 叫好 声 。 读 者 可 能 对 其 中 一 些 观点 并 不 
认同 ， 但 是 读 完 之 后 不 可 能 一 个 都 记 不 住 。 


二 是 观念 高 屋 建 令 ， 作 者 试图 从 很 多 实例 和 经 验 ， 包 括 历 史 事件 中 革 
取出 普 适 性 的 观念 ， 而 不 仅仅 是 适用 于 几 个 特定 情况 的 案例 分 析 。 


三 是 例子 丰富 翔实 ， 不 长 的 篇 幅 包 括 了 上 百 个 学 术 和 商业 的 实例 。 


三 点 近乎 完美 地 结合 起 来 ， 体 现 了 作者 区 豚 大 问题 的 能 力 和 丰富 的 知 
识 ， 以 及 ， 可 能 更 为 重要 地 ， 作 者 淘 求 立言 立 说 的 野心 ! 所 以 说 ， 这 
本 书 绝对 不 是 一 堆 梧 燥 的 纲要 ， 更 不 是 一 本 巨 厚 的 杂志 。 


我 在 这 里 拼命 叫好 ， 古 为 了 这 本 书 卖 得 更 多 ， 但 不 代表 作者 的 所 有 观 
点 都 是 绝对 真理 。 举 个 例 和 于， 我 本 人 对 于 大 数据 时 代 “ 相 关头 系 比 因 采 
关系 更 重要 ”这 个 观点 束 不 认同 。 有 了 机 器 学 习 ， 特 别 是 集成 学 习 ， 我 
们 解决 问题 的 方式 变 成 了 训练 所 有 可 能 的 模型 和 拟 合 所 有 可 能 的 参数 
问题 从 一 个 端口 进去 ， 答 案 从 允 一 个 问 口 出 来 ， 中 间 则 是 一 个 黑 
匣子 ， 因 为 没有 人 能 够 从 成 后 上 万 的 参数 拟 合 值 里 面 读 到 “科学 ”， 我 
们 读 到 的 只 是 “计算机 工程 ”。 与 其 说 大 数据 让 我 们 重视 相关 胜 于 因 

果 ， 不 如 说 机 器 学 习 和 以 结 来 为 导向 的 研究 思路 让 我 们 变 成 这 样 。 


那么 ， 大 数据 是 不 古 部 这 样 呢 ? 其 实 很 多 时 候 恰恰 相反 。 想 想 瑞 士 日 
内 瓦 的 强 于 对 撞 机 ， 我 们 在 上 面 捕获 了 人 类 有 史 以 来 最 大 规模 的 单位 
时 间 数 据 。 我 们 是 希望 找到 或 者 验证 某 种 相关 关系 吗 ? 不 是 ! 我 们 试 
图 回答 的 ， 正 是 人 类 所 能 问 出 的 天 于 因果 关系 最 伟大 的 问题 ， 希 格 斯 
玻 色 子 古 否 存 在 ， 我 们 的 宇宙 是 否 有 可 能 用 标准 模型 刻画 。 这 个 问题 
的 最 终 答 案 ， 将 打破 人 和 神 的 界限 ! 认为 相关 重 于 因果 ， 是 某 些 有 代 
表 性 的 大 数据 分 析 手 段 〈 璧 如 机 器 学 习 ) ENEK HA EA 

影 ， 绝 非 大 数据 目 身 的 诉求 。 从 小 处 讲 ， 作 者 试图 避免 的 “数据 的 独 
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而 非 相 关 性 ; 从 大 处 讲 ， 放 弃 对 因 采 性 的 追求 ， 束 是 放弃 了 人 类 次 区 
于 计算 机 之 上 的 智力 优势 ， 是 人 类 目 身 的 放纵 和 下落。 如 采 未 来 某 一 
Aleem BEES TIX MEA, ARAMA Bie AR H Zhe 


Jr- RHEA (Susan Langer) 在 《哲学 新 视野 》 一 书 中 说 : 


某 些 观念 有 时 会 以 惊人 的 力量 给 知识 状况 带 来 巨大 的 冲击 。 由 于 这 些 
观念 能 一 下 子 解决 许多 问题 ， 所 以 ， 它 们 似乎 将 有 项 望 解决 所 有 基本 
问题 ， 澄 请 所 有 不 明了 的 疑点 。 每 个 人 都 想 迅速 地 抓 住 它 们 ， 作 为 进 
某 种 新 实证 科学 的 法 宝 ， 作 为 可 以 用 来 建构 一 个 综合 分 析 体 系 的 概 
i Rates lee 
齐 到 了 一 边 。 


这 上 段 话 通 常 被 认为 是 对 当时 “存在 主义 ”和 “精神 分 析 法 ”这 类 万 能 概念 
的 于 意 批 评 ， 而 如 今 特别 适合 作为 一 金 冷 水 浅 在 那些 没有 任何 深刻 理 
解 ， 却 月 月 日 日 分 分 秒 秒 罕 行 于 各 种 “大 数据 嘉年华 ”的 投 次 人、 媒体 
人 和 创业 者 身上 。 


希望 《大 数据 时 代 》 给 予 各 位 的 是 一 些 实 实 在 在 的 知识 和 思考 ， 并 且 
唤起 各 位 安静 思索 相关 问题 的 心境 。 大 数据 是 一 个 很 重要 的 概念 ， 代 
表 了 很 重要 的 趋势 ， 但 我 不 布 望 它 成 为 一 种 放 之 四 海 宵 准 的 万 能 概念 
因为 越 是 万 能 的 ， 整 越 是 空洞 的 ! 人 类 学 家 克利 福 德 :吉尔 效 
(Clifford Geertz) 在 其 著作 《文化 的 解释 》 中 曾 给 出 了 一 个 朴素 而 冷 
静 的 劝说 : “努力 在 可 以 应 用 、 可 以 拓展 的 地 方 ， 应 用 它 、 拓 展 它 ;在 
不 能 应 用 、 不 能 拓展 的 地 方 ， 束 停 下 来 。” 我 想 ， 这 应 该 是 所 有 人 面 对 
一 个 新 领域 或 新 概念 时 应 有 的 态度 。 


大 数据 的 道路 上 没有 戈 多 ， 我 们 已 经 在 路 上 ， 冕 晃 悠 悠 。 人 类 的 目 由 
意志 和 诸 神 之 下 的 草 广 ， 会 在 这 条 道路 上 异化 甚至 消逝 吗 ? 极目 远 
片 ， 不 知道 世界 的 尽头 ， 是 否 征 一 个 冷酷 的 仙境 ! 诸位 为 之 否 斗 吧 ， 
而 我 只 想 ， 做 一 个 ， 麦 田 里 的 守望 者 。 


以 为 序 。 


引言 一 场 生 活 、 工 作 与 思维 的 大 变革 


大 数据 开启 了 一 次 重大 的 时 代 转 型 。 就 像 望远镜 让 我 们 能 够 感受 宇 
宙 ， 显 微 镜 让 我 们 能 够 观测 微生物 一 样 ， 大 数据 正在 改变 我 们 的 生活 
以 及 理解 世 界 的 方式 ， 成 为 新 发 明和 新 服务 的 涯 泉 ， 而 更 多 的 改变 下 
BGR 


【大 数据 先锋 】 


谷歌 搜索 与 流感 预测 


Farecast 与 飞机 票 价 预测 系统 


天 文学 ， 信 息 爆 炸 的 起 源 


大 数据 ， 变 单 公共 卫生 


2009 年 出 现 了 一 种 新 的 流感 病毒 。 这 种 甲 型 HIN1 流 感 结合 了 导致 禽 流 
感 和 猪 流感 的 病毒 的 特点 ， 在 短 短 几 周 之 内 迅速 传播 开 来 。 全 球 的 公 
共 卫 生机 构 都 担心 一 场 致命 的 流行 病 即将 来 委 。 有 的 评论 家 甚至 警告 
说 ， 可 能 会 爆发 大 规模 流感 ， 类 似 于 1918 年 在 西班牙 爆发 的 影响 了 5 亿 
人 口 并 寺 走 了 数 千 万 人 性 命 的 大 规模 流感 。 更 糟糕 的 是 ， 我 们 还 没有 
研发 出 对 抗 这 种 者 型 流感 病毒 的 疫 丁 。 公 共 卫 生 专 家 能 做 的 只 十 城 慢 
E E 
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疾病 控制 与 预防 中 心 。 但 由 于 人 们 可 能 患 病 多 日 实在 受 不 了 了 才 会 去 
医院 ， 同 时 这 个 信息 传达 回 疾 控 中 心 也 需要 时 间 ， 因 此 ， 通 告 新 流感 
病例 时 往往 会 有 一 两 周 的 延迟 。 而 且 ， 疾 控 中 心 每 周 只 进行 一 次 数据 
汇总 。 然 而 ， 对 于 一 种 飞速 传播 的 疾病 ， 信 息 请 后 两 周 的 后 果 将 是 至 
人 


在 甲 型 HIN1 流 感 爆发 的 儿 周 前 ， 互 联网 巨头 谷歌 公司 的 工程 师 们 在 
《 目 然 》 杂 志 上 发 表 了 一 篇 引信 注目 的 论文 。 它 令 公 共 卫 生 官员 们 和 
计算 机 科学 家 们 感到 震惊 。 文 中 解释 了 谷歌 为 什么 能 够 预测 冬季 流感 
的 传播 : 不 仅 是 全 美 范 围 的 传播 ， 而 且 可 以 具体 到 特定 的 地 区 和 州 。 
谷歌 通过 观察 人 们 在 网 上 的 搜索 记录 来 完成 这 个 预测 ， 而 这 种 方法 以 
前 一 直 是 被 名 略 的 。 谷 歌 保存 了 多 年 来 所 有 的 搜索 记录 ， 而 且 每 天 都 
会 收 到 来 目 全 球 超过 30 亿 条 的 搜索 指令 ， 如 此 庞大 的 数据 货源 足以 文 
撑 和 帮助 它 完成 这 项 工作 。 


谷歌 公司 把 5000 万 条 美国 人 最 频 党 检索 的 词 条 和 美国 疾 探 中心 在 2003 
年 至 2008 年 间 季 世 性 流感 传播 时 期 的 数据 进行 了 比较 。 他 们 和 希望 通过 
分 析 人 人 们 的 搜索 记录 来 判断 这 些 人 是 否 患 上 了 流感 ， 其 他 公司 也 曾 试 
图 确定 这 些 相关 的 词 条 ， 但 是 他 们 缺乏 像 谷歌 公司 一 样 庞 大 的 数据 次 
源 、 处 理 能 力 和 统计 技术 。 


虽然 谷歌 公司 的 员工 猜测 ， 特 定 的 检索 词 条 是 为 了 在 网 络 上 得 到 关于 
流感 的 信息 ， 如 “哪些 是 治疗 咳嗽 和 发 热 的 药物 "， 但 是 找 出 这 些 词 条 


并 不 是 重点 ， 他 们 也 不 知道 哪些 词 条 更 重要 。 更 关键 的 是 ， 他 们 建立 
的 系统 并 不 依赖 于 这 样 的 语义 理解 。 他 们 设立 的 这 个 系统 唯一 关注 的 
就 是 特定 检索 词 和 o : 间 上 的 传播 之 间 的 联 
系 。 合 歌 公司 为 了 测试 这 些 检索 词 共处 理 了 4.5 亿 个 不 同 的 数学 
模型 。 在 将 得 出 的 预测 与 2007 年 、 E 
感 病例 进行 对 比 后 ， 谷 歌 公司 发 现 ， 他 们 的 软件 发 现 了 45 条 检索 词 条 
的 组 合 ， 将 它们 用 于 一 个 特定 的 数学 模型 后 ， 他 们 的 预测 与 官方 数据 
的 相关 性 高 达 97%。 和 疾 控 中 心 一 样 ， 他 们 也 能 判断 出 流感 是 从 哪里 
传播 出 来 的 ， 而 且 判 断 非常 及 时 ， 不 会 像 疾 探 中 心 一 样 要 在 流感 爆发 
一 两 周 之 后 才 可 以 做 到 。 


所 以 ，2009 年 甲 型 HIN1 流 感 爆发 的 时 候 ， 与 习惯 性 湛 后 的 官方 数据 相 
比 ， 人 谷歌 成 为 了 一 个 更 有 效 、 更 及 时 的 指示 标 。 公 共 卫 生机 构 的 官员 
获得 了 非常 有 价值 的 数据 信息 。 惊 人 的 是 ， 谷 歌 公 司 的 方法 甚至 不 需 
要 分 发 口腔 试纸 和 联系 医生 它 是 建立 在 大 数据 的 基础 之 上 的 。 这 

是 当今 社会 所 独 有 的 一 种 新 型 能 力 : 以 一 种 前 所 未 有 的 方式 ， 通 过 对 
海量 数据 进行 分 析 ， 获得 有 巨大 价值 的 产品 和 服务 或 深刻 的 润 见 。 
基于 这 样 的 技术 理念 和 数据 储备 ， 下 一 次 流感 来 袭 的 时 候 ， 世 界 将 会 
拥有 一 种 更 好 的 预测 工具 ， 以 预防 流感 的 传播 。 


大 数据 ， 变 单 商业 


大 数据 不 仅 改变 了 公共 卫生 领域 ， 整 个 商业 领域 都 因为 大 数据 而 重新 
洗 牌 。 购 买 飞 机 票 瑟 是 一 个 很 好 的 例子 。 


2003 年 ， 奥 伦 : 埃 齐 奥 尼 (Oren Etzioni) 准备 乘坐 从 西雅图 到 洛杉矶 的 
飞机 去 参加 弟弟 的 婚礼 。 他 知道 飞机 票 越 早 预订 越 便 宜 ， 于 是 他 在 这 
个 大 喜 日 子 来 临 之 前 的 几 个 月 ， 就 在 网 上 预订 了 一 张 去 洛杉矶 的 机 

票 。 在 飞机 上 ， 埃 齐 奥 尼 好 奇 地 问 邻 座 的 乘客 伦 了 多 少 钱 购买 机 票 。 
当 得 知 里 然 那 个 人 的 机 票 比 他 买 得 更 晚 ， 但 是 票 价 却 比 他 便宜 得 多 
时 ， 他 感到 非常 气愤。 于 是 ， 他 叉 询问 了 另外 几 个 乘客 ， 结 果 发 现 大 
家 买 的 票 拓 然 都 比 他 的 便宜 。 


对 大 多 数 人 来 说 ， 这 种 被 融 竹 杠 的 感觉 也 许 会 随 着 他 们 走 下 飞机 而 消 
失 。 然 而 ， 挨 齐 奥 尼 是 美国 最 有 名 的 计算 机 专家 之 一 ， 从 他 担任 华 盛 
顿 大 学 人 工 智 能 项 目的 负责 人 开始 ， 他 创立 了 许多 在 今天 看 来 非常 典 
型 的 大 数据 公司 ， 而 那 时 候 还 没有 人 提出 “大 数据 ”这 个 概念 。 


1994 年 ， 埃 齐 奥 尼 帮 助 创建 了 最 早 的 互联 网 搜索 引 警 MetaCrawler， 该 
引擎 后 来 被 InfoSpace 公 司 收 购 。 他 联合 创立 了 第 一 个 大 型 比价 网 站 
Netbot， 后 来 把 它 卖 给 了 Excite 公 司 。 他 创立 的 从 文本 中 欣 掘 信息 的 公 
司 ClearForest 则 被 路 透 社 收购 了 。 在 他 眼中 ， 世 界 就 是 一 系列 的 大 数 
据 问 题 ， 而 且 他 认为 目 己 有 能 力 解 决 这 些 问 题 。 作 为 哈佛 大 学 首届 计 
算 机 科学 专业 的 本 科 毕 业 生 ， 自 1986 年 毕业 以 来 ， 他 也 一 直 致 力 于 解 


决 这 些 问 题 。 


飞机 着 陆 之 后 ， 埃 齐 奥 尼 下 定 决心 要 帮助 人 们 开发 一 个 系统 ， 用 来 推 
测 当前 网 页 上 的 机 票 价格 是 否 合理 。 作 为 一 种 商品 ， 同 一 架 飞 机 上 每 
个 座位 的 价格 本 来 不 应 该 有 兰 别 。 但 实际 上 ， 价 格 却 千差万别 ， 其 中 
绿 由 只 有 航空 公司 目 己 清楚 。 


埃 齐 奥 尼 表 示 ， 他 不 需要 去 解 开 机 票 价 格 差异 的 奥秘 。 他 要 做 的 仅仅 
是 预测 当前 的 机 票 价 格 在 未 来 一 段 时 间 内 会 上 涨 还 是 下 降 。 这 个 想法 
征 可 行 的 ， 但 操作 起 来 并 不 是 那么 向 单 。 这 个 系统 需要 分 析 所 有 特定 
航线 机 票 的 销售 价格 并 确定 票 价 与 提前 购买 天 数 的 关系 。 
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购 票 的 明智 选择 。 反 过 来 ， 如 果 一 张 机 票 的 平均 价格 至 上 涨 趋势 ， 系 
统 束 会 提醒 用 户 立 刻 购买 该 机 票 。 换 襄 之 ， 这 是 埃 齐 奥 尼 针 对 9000 米 
高 空 开 发 的 一 个 加 强 版 的 信息 预测 系统 。 这 确实 是 一 个 浩大 的 计算 机 
科学 项 目 。 不 过 ， 这 个 项 目 是 可 行 的 。 于 是 ， 埃 齐 奥 尼 开 始 着 手 启 动 
这 个 项 目 。 


埃 齐 奥 尼 创 立 了 一 个 预测 系统 ， 它 帮助 虚拟 的 乘客 节省 了 很 多 钱 。 这 
个 预测 系统 建立 在 41 天 之 内 的 12000 个 价格 样本 基础 之 上 ， 而 这 些 数 据 
都 是 从 一 个 旅游 网 站 上 扑 取 过 来 的 。 这 个 预测 系统 并 不 能 说 明 原 因 ， 
只 能 推测 会 发 生 什 么 。 也 就 是 说 ， 它 不 知道 吓 哪些 因素 导致 了 机 票 价 
格 的 流动。 机 票 降价 是 因为 有 很 多 没 卖 掉 的 座位 、 季 节 性 原因 ， 还 是 
所 谓 的 “ 周 六 晚上 不 出 门 ”， 它 都 不 知道 。 这 个 系统 只 知道 利用 其 他 航 
班 的 数据 来 预测 未 来 机 票 价 格 的 走势 。“ 买 还 是 不 买 ， 这 是 一 个 问 
oo 。 他 给 这 个 研究 项 目 取 了 一 个 非常 贴切 的 名 字 ， 
叫 “ 哈 姆 雷 特 ”。 


这 个 小 项 目 逐 渐 发 展 成 为 一 家 得 到 了 风险 投资 基金 支持 的 科技 创业 公 
司 ， 名 为 Farecast。 通 过 预测 机 票 价 格 的 走势 以 及 增 降幅 度 ，Farecast 
票 价 预测 工具 能 帮助 消费 者 抓 住 最 佳 购买 时 机 ， 而 在 此 之 前 还 没有 其 
他 网 站 能 让 消费 者 获得 这 些 信 息 。 


这 个 系统 为 了 保障 自身 的 透明 度 ， 会 把 对 机 票 价格 走 势 预测 的 可 信 度 
标示 出 来 ， 供 消费 者 参考 。 系 统 的 运转 需要 海量 数据 的 支持 。 为 了 提 
高 预测 的 准确 性 ， 埃 齐 奥 尼 找 到 了 一 个 行业 机 票 预订 数据 库 。 而 系统 
的 预测 结果 是 根据 美国 商业 航空 产业 中 ， 每 一 条 航线 上 每 一 架 飞 机 内 
的 每 一 个 座位 一 年 内 的 综合 票 价 记录 而 得 出 的 。 如 今 ，Farecast 已 经 拥 
有 惊人 的 约 2000 亿 条 飞行 数据 记录 。 利 用 这 种 方法 ，Farecast 为 消费 者 
节省 了 一 大 笔 钱 。 u 


柠 色 的 涉 发 ， 露 齿 的 笑容 ， 无 邪 的 面孔 ， 这 束 是 奥 伦 - 埃 齐 奥 尼 。 他 看 
上 去 完全 不 像 是 一 个 会 让 航空 业 损 失 数 百 万 潜在 收入 的 人 。 但 事实 

上 ， 他 的 目光 放 得 更 长 远 。2008 年 ， 埃 齐 奥 尼 计 划 将 这 项 技术 应 用 到 
其 他 领域 ， 比 如 宾 饮 预订、 二手 车 购买 等 。 只 要 这 些 领域 内 的 产品 差 
异 不 大 ， 同 时 存在 大 幅度 的 价格 差 和 大 量 可 运用 的 数据 ， 就 都 可 以 应 
用 这 项 技术 。 但 是 在 他 实现 计划 之 前 ， 微 软 公司 找 上 了 他 并 以 1.1 亿 美 
元 的 价格 收购 了 Farecast 公 司 。 而 后 ， 这 个 系统 被 并 入 必 应 搜索 引擎 。 


大 数据 的 力量 


到 2012 年 为 止 ， Farecast 系 统 明了 将 近 十 万 亿 条 价格 记录 来 帮助 预测 类 
到 到 内 航班 的 票 价 o Farecast 票 价 预测 的 准确 度 已 经 高 达 7526， 使 用 
Farecast 票 价 预 测 工具 购买 机 票 的 旅客， 平均 每 张 机 票 可 入 省 50 美 元 。 


Farecast 是 大 数据 公司 的 一 个 缩影 ， 也 代表 了 当今 世界 发 展 的 趋势 。 五 
年 或 者 十 年 之 前 ， 奥 伦 : 埃 齐 奥 尼 是 无 法 成 立 这 样 的 公司 的 。 他 

说 :“ 这 是 不 可 能 的 。” 那 时 候 他 所 需要 的 计算 机 处 理 能 力 和 存储 能 
KRET! 虽说 技术 上 的 突破 是 这 一 切 得 以 发 生 的 主要 原因 ， 但 也 有 
一 些 细微 而 重要 的 改变 正在 发 生 ， 特 别 是 人 们 关于 如 何 使 用 数据 的 理 
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[1] 有 趣 的 是 ， 这 些 飞行 记录 和 谷歌 的 搜索 记录 一 样 ， 也 可 以 用 来 预测 
和 评估 疾病 的 流行 。 有 兴趣 的 读者 可 以 参考 2010 年 第 12 期 《科学 通 
报 》 上 和 名 为 "HIN1 甲 型 流感 全 球 航空 传播 与 早期 预警 研究 ”的 研究 论文 
以 及 2011 年 Bajardi 等 人 在 PLoS ONE 上 发 表 的 名 为 “Human Mobility 
Networks, Travel Restrictions, and the Global Spread of 2009 H1N1 
Pandemic” 的 研究 论文 。 去 者 注 


大 数据 ， 变 单 思维 


人 们 不 再 认为 数据 是 静止 和 陈旧 的 。 但 在 以 前 ， 一 旦 完成 了 收集 数据 
的 目的 之 后 ， 数 据 束 会 被 认为 已 经 没有 用 处 了 。 比 方 说 ， 在 飞机 降落 
之 后 ， 票 价 数 据 就 没有 用 了 (对 谷歌 而 言 ， 则 是 一 个 检索 命令 完成 之 
后 ) o iH 


大 数据 洞察 

如 今 ， 数 据 已 经 成 为 了 一 种 商业 资本 ， 一 项 重要 的 经 济 投入 ， 可 以 创 
造 新 的 经 济 利益 。 事 实 上 ， 一 旦 思维 转变 过 来 ， 数 据 就 能 被 巧妙 地 用 
来 激发 新 产品 和 新 型 服务 。 数 据 的 奥妙 只 为 谦 示 、 愿 意 聆听 且 掌 握 了 


聆听 手段 的 人 所 知 。 


言 思 社会 所 市 来 的 好 处 是 显而易见 的 : 每 个 人 口袋 里 都 摘 有 一 部 手 
机 ， 每 台 办 公 昌 上 都 放 有 一 台电 脑 ， 每 间 办 公 室 内 都 拥有 一 个 大 型 局 
域 网 。 但 是 ， 信 息 本 喘 的 用 处 却 并 没有 如 此 引信 注目 。 半 个 世纪 以 
来 ， 随 着 计算 机 技术 全 面 融入 社会 生活 ， 信 息 爆 炸 已 经 积 素 到 了 一 个 
开始 引发 变 章 的 程度 。 它 不 仅 使 世界 充 不 着 比 以 往 更 多 的 信息 ， 而 且 
其 增长 速度 也 在 加 快 。 信 息 总 量 的 变化 还 导致 了 信息 形态 的 变化 一 一 
量变 引发 了 质变 。 最 先 经 历 信 息 爆 炸 的 学 科 ， 如 天 文学 和 基因 学 ， 创 
造 出 了 “大 数据 ”这 个 概念 所。 如 今 ， 这 个 概念 几乎 应 用 到 了 所 有 人 类 
致力 于 发 展 的 领域 中 。 


大 数据 并 非 一 个 确切 的 概念 。 最 初 ， 这 个 概念 是 指 需要 处 理 的 信息 量 
过 大 ， 已 经 超出 了 一 般 电 脑 在 处 理 数 据 时 所 能 使 用 的 内 存量 ， 因 此 工 
程 师 们 必须 改进 处 理 数据 的 工具 。 这 导致 了 新 的 处 理 技术 的 诞生 ， 例 
如 谷歌 的 MapReduce 和 开源 Hadoop 平 台 (最 初 源 于 雅虎 ) 。 这 些 技术 
使 得 人 们 可 以 处 理 的 数据 量 大 大 增加 。 更 重要 的 是 ， 这 些 数据 不 再 需 
要 用 传统 的 数据 库 表 格 来 整齐 地 排列 一 一些 可 以 消除 僵化 的 层次 结 
构 和 一 致 性 外 的 技术 也 出 现 了 。 同 时 ， 因 为 互联 网 公司 可 以 收集 大 量 
有 价值 的 数据 ， 而 且 有 利用 这 些 数 据 的 强烈 的 利益 驱动 力 ， 所 以 互联 
网 公司 顺理成章 地 成 为 了 最 新 处 理 技术 的 领头 实践 者 。 它 们 甚至 超过 
了 很 多 有 几 十 年 经 验 的 线 下 公司 ， 成 为 靳 技术 的 领衔 使 用 者 。 


今天 ， 一 种 可 能 的 方式 是 ， 亦 是 本 书 采取 的 方式 ， 认 为 大 数据 是 人 们 
在 大 规模 数据 的 基础 上 可 以 做 到 的 事情 ， 而 这 些 事情 在 小 规模 数据 的 
基础 上 是 无 法 完成 的 。 大 数据 是 人 们 获得 新 的 认 知 、 创 造 新 的 价值 的 
ee ER A 


大 数据 洞察 


这 仅仅 只 是 一 个 开始 ， 大 数据 时 代 对 我 们 的 生活 ， 以 及 与 世界 交流 的 
方式 都 提出 了 挑战 。 最 尺 人 的 是 ， 社 会 需要 放弃 它 对 因果 关系 的 淘 
求 ， 而 仅 需 关注 相关 关系 。 也 就 是 说 只 需要 知道 是 什么 ， 而 不 需要 知 
道 为 什么 。 这 就 推翻 了 自古 以 来 的 惯例 ， 而 我 们 做 决定 和 理解 现实 的 
最 基本 方式 也 将 受到 挑战 。 


[1] 设计 人 员 如 有 果 没 有 大 数据 的 理念 ， 殊 会 丢失 掉 很 多 有 价值 的 数据 。 
壁 如 中 国 某 城 市 的 公交 车 因为 价格 不 依赖 于 起 点 和 终点 ， 所 以 能 够 反 
映 重 要 通勤 信息 的 数据 被 工作 人 员 “ 目 作 主 张 ”地 丢弃 了 。 一 一 译 者 注 


[2] 有 兴趣 的 读者 可 以 参考 2008 年 9 月 4 日 《自然 》 推 出 的 名 为 “大 数 
据 ” 的 专刊 。 一 一 译 者 注 


[3] 这 些 都 是 传统 数据 库 结 构 化 查询 语言 (SQL) 的 要 求 ， 非 关系 型 数 
据 库 (NoSQL) 不 再 有 这 些 要 求 。 一 一 译 者 注 


大 数据 ， 开 局 重大 的 时 代 转 型 


大 数据 开局 了 一 次 重大 的 时 代 转 型 。 与 其 他 新 技术 一 样 ， 大 数据 也 必 
然 要 经 历 硅 合 吴 名 昭著 的 技术 成 熟 度 曲线 中 ,经 过 新 闻 媒体 和 学 术 会 
议 的 大 肆 宣 传 之 后 ， 痢 技术 趋势 一 下 子 跌 到 谷 确 ， 许 多 数据 创业 公司 
变 得 发 发 可 危 。 当 然 ， 不 管 是 过 热 期 还 是 幻想 破 炎 期 ， 痢 非常 不 利于 
我 们 正确 理解 正在 发 生 的 变革 的 重要 性 。 


就 像 望远镜 能 够 让 我 们 感受 宇宙 ， 显 微 镜 能 够 让 我 们 观测 微生物 ， 这 
种 能 够 收集 和 分 析 海 量 数 据 的 新 技术 将 帮助 我 们 更 好 地 理解 世界 一 一 
这 种 理解 世界 的 新 方法 我 们 现在 才 意 识 到 。 本 书 则 在 如 实 表达 出 大 数 
据 的 内 涵 ， 而 不 会 过 分 热 捧 它 。 当 然 ， 真 正 的 诗 命 并 不 在 于 分 析 数 据 
的 机 器 ， 而 在 于 数据 本 映 和 我 们 如 何 运用 数据 。 


大 数据 先锋 
天 文学 ,信息 爆 炸 的 起 源 


只 有 考虑 到 社会 各 个 方面 的 变化 趋势 ， 我 们 才能 真正 意识 到 信息 爆炸 
已 经 到 来 。 我 们 的 数 子 世界 一 直 在 扩张 。 以 天 文学 为 例 ，2000 年 斯 隆 
数字 巡天 (Sloan Digital Sky Survey) 项 目 启动 的 了 时候 ， 位 于 新 墨西哥 
州 的 望远镜 在 短 短 几 周 内 收集 到 的 数据 ， 已 经 比 天 文学 历史 上 总 共 收 
集 的 数据 还 要 多 。 到 了 2010 年 ， 信 息 档 案 已 经 高 达 1.4x2? 字 有 。 不 
过 ， 预 计 2016 年 在 智利 投入 使 用 的 大 型 视 场 全 景 巡 天 望远镜 (Large 
Synoptic Survey Telescope) 能 在 五 天 之 内 就 获得 同样 多 的 信息 。 


天 文学 领域 的 变化 在 各 个 领域 都 在 发 生 。2003 年 ， 人 类 第 一 次 破译 人 
体 基 因 密 码 的 时 候 ， 圣 吾 工 作 了 十 年 才 完成 了 三 十 亿 对 碱 基 对 的 排 
序 。 大 约 十 年 之 后 ， 世 界 范 围 内 的 基因 仪 每 15 分 钟 束 可 以 完成 同样 的 
工作 。 在 金融 领域 ， 类 国 股市 每 天 的 成 区 量 高 达 70 亿 股 ， 而 其 中 三 分 
之 二 的 交易 都 是 由 建立 在 数学 模型 和 算法 之 上 的 计算 机 程序 目 动 完成 
的 。 这 些 程序 运用 海量 数据 来 预测 利益 和 降低 风险 。 


互联 网 公司 更 是 要 被 数据 淹没 了 。 合 歌 公 司 每 天 要 处 理 超过 24 扣 字 市 
ea 的 数据 ， 这 意味 着 其 每 天 的 数据 处 理 量 是 美国 国家 图 书馆 所 有 纸 质 
出 版 物 所 含 数据 量 的 上 千 倍 。Facebook 这 个 创立 时 间 不 足 十 年 的 公 
司 ， 每 天 更 痢 的 照 放量 超过 1000 万 张 ， 每 天 人 们 在 网 站 上 点 击 “ 喜 


W” (Like) 按钮 或 者 写 评论 大 约 有 三 十 亿 次 ， 这 就 为 Facebook 公 司 控 
据 用 户 喜 好 提供 了 大 量 的 数据 线索 。 与 此 同时 ， 谷 歌 子 公司 YouTube 
每 月 接待 多 达 8 亿 的 访客 ， 平 均 每 一 秒 钟 就 会 有 一 段 长 度 在 一 小 时 以 上 
的 视频 上 传 。Twitter 上 的 信息 量 几 乎 每 年 翻 一 秋 ， 截 止 到 2012 年 ， 每 
天 都 会 发 布 超过 4 亿 条 微 博 。 


从 科学 研究 到 医疗 保险 ， 从 银行 业 到 互联 网 ， 各 个 不 同 的 领域 都 在 讲 
述 痢 一 个 类 似 的 故事 ， 那 惑 是 爆发 式 增长 的 数据 量 。 这 种 增长 超过 了 
我 们 创造 机 器 的 速度 ， 甚 至 超过 了 我 们 的 想象 。 


我 们 周围 到 说 有 多 少数 据 ? 增长 的 速度 有 多 快 ? 许多 人 试图 测量 出 一 
个 确切 的 数字 。 尽 管 测量 的 对 象 和 方法 有 所 不 同 ， 但 他 们 都 获得 了 不 
同 程度 的 成 功 。 南 加 利 福 尼 亚 大 学 安 嫩 伯 格 通信 学 院 的 马丁 :布尔 伯 特 
(Martin Hilbert) 进行 了 一 个 比较 全 面 的 研究 ， 他 试图 得 出 人 类 所 创 
造 、 存 储 和 传播 的 一 切 信息 的 确切 数目 。 他 的 研究 范围 不 仅 包括 书 
籍 、 图 画 、 电 子 邮件 、 照 片 、 音 乐 、 视 频 (模拟 和 数字 ) ， 还 包括 电 
子 游戏 、 电 话 、 汽 车 导航 和 信件 。 马 丁 : 希 尔 伯 特 还 以 收视 率 和 收听 率 
为 基础 ， 对 电视 、 电 台 这 些 广播 媒体 进行 了 人 研究 。 


大 数据 的 力量 


据 他 估算 ，2007 年 ， 人 类 大 约 存储 了 超过 300 艾 字 贡 外 的 数据 。 下 面 这 
个 比喻 应 该 可 以 帮助 人 们 更 容易 地 理解 这 意味 着 什么 了 。 一 部 完整 的 
数字 电影 可 以 压缩 成 一 个 GB 的 文件 ， 而 一 个 艾 字 世相 当 于 10 亿 GB， 
一 个 泽 字 蔬 血 则 相当 于 1024 艾 字 节 。 总 之 ， 这 是 一 个 非常 庞大 的 数 
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有 趣 的 是 ， 在 2007 年 ， 所 有 数据 中 只 有 7% 是 存储 在 报纸 、 书 籍 、 图 片 
等 媒介 上 的 模拟 数据 中 ， 其 余 全 部 是 数字 数据 旦 。 但 在 不 久之 前 ， 情 
况 却 完 全 不 是 这 样 的 。 昌 然 1960 年 束 有 了 "信息 时 代 ” 和 “数字 村 镇 ”的 
概念 ， 但 实际 上 ， 这 些 概念 仍然 是 相 当 新 颖 的 。 甚 至 在 2000 年 的 时 
候 ， 数 字 存 储 信息 仍 只 占 全 球 数据 量 的 四 分 之 一 ; 当时 ， 男 外 四 分 之 
三 的 信息 都 存储 在 报纸 、 胶 片 、 黑 胶 唱 片 和 盒 式 伺 带 这 类 媒介 上 。 


早期 数字 信息 的 数量 十 不 多 的 。 对 于 长 期 在 网 上 冲浪 和 购书 的 人 来 
说 ， 那 只 是 一 个 微小 的 部 分 。 事 实 上 ， 在 1986 年 的 时 候 ， 世 界 上 约 
40% 的 计算 能 力 都 被 运用 在 宙 珍 计算 硕 上 ， 那 时 候 ， 所 有 个 人 电脑 的 
处 理 能 力 之 和 还 没有 所 有 视 珍 计算 需 处 理 能 力 之 和 高 。 但 是 因为 数字 
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基本 上 没有 增加 。 


大 数据 的 力量 


到 2013 年 ， 世 界 上 存储 的 数据 预计 能 达到 约 1.2 泽 字 节 ， 其 中 非 数字 数 
据 只 占 不 到 29%。 


这 样 大 的 数据 量 意味 着 什么 ?如 果 把 这 些 数据 全 部 记 在 书 中 ， 这 些 书 
可 以 覆盖 整个 美国 52 次 。 如 果 将 之 存储 在 只 读 光 盘 上 ， 这 些 光 盘 可 以 
堆 成 五 堆 ， 每 一 堆 都 可 以 伸 到 月 球 。 公 元 前 3 世纪 ， 埃 及 的 托 勒 密 二 世 
竭力 收集 了 当时 所 有 的 书写 作品 ， 所 以 伟大 的 亚历山大 图 书馆 可 以 代 
表 世 界 上 所 有 的 知识 量 。2 但 当 数 字数 据 洪流 席卷 世界 之 后 ， 每 个 地 
球 人 都 可 以 获得 大 量 数据 信息 ， 相 当 于 当时 亚历山大 图 书馆 存储 的 数 
据 总 量 的 320 倍 之 多 。 


事情 真 的 在 快速 发 展 。 人 类 存储 信息 量 的 增长 速度 比 世界 经 济 的 增长 
速度 快 4 倍 ， 而 计算 机 数据 处 理 能 力 的 增长 速度 则 比 世界 经 济 的 增长 速 
A a a 
ERME 。 


把 眼光 放 远 一 点 ， 我 们 可 以 把 时 下 的 信息 洪流 与 1439 年 前 后 古 登 堡 发 
明 印 刷机 皇上 时 造成 的 信息 爆炸 相对 比 。 历 史学 家 伊 丽 莎 日 : 爱 森 斯 坦 

(Elizabeth Eisenstein) 发 现 ，1453- 1503 年 ， 这 50 年 之 间 大 约 有 800 
万 本 书籍 被 印刷 ， 比 1200 年 之 前 君 士 坦 丁 堡 建立 以 来 整个 欧洲 所 有 的 
手 抄 书 还 要 多 。 换 言 之 ， 欧 洲 的 信息 存储 量 伦 了 50 年 才 增 长 了 一 倍 

(当时 的 欧洲 还 占据 了 世界 上 相当 部 分 的 信息 存储 份额 ) ， 而 如 今 大 
约 每 二 年 就 能 增长 一 倍 。 


这 种 增长 意味 着 什么 呢 ? WEE (Peter Norvig) 是 谷歌 的 人 工 知 
能 专家 ， 也 曾 任 职 于 美国 宇航 局 蜂 气 推进 实验 室 ， 他 喜欢 把 这 种 增长 
与 图 画 进行 类 比 。 首 先 ， 他 要 我 们 想 想 来 目 法 国 拉 斯 科 洞 六 壁画 上 的 
标志 性 的 马 。 这 些 画 可 以 奶 漳 到 一 万 七 千年 之 前 的 旧 石 右 时 代 。 然 
后 ， 想 想 一 张 马 的 照片 ， 再 想 想 毕加索 的 画 也 可 以 ， 看 起 来 和 那些 洞 
六 壁画 没有 多 大 的 差别 。 事 实 上 ， 毕 加 索 看 到 那些 洞 信 壁画 的 时 候 整 
曾 开 玩笑 说 :“ 目 那 以 后 ， 我 们 束 再 也 没有 创造 出 什么 东西 了 。” 


他 的 话 既 正确 又 不 完全 正确 。 你 回想 一 下 壁画 上 的 那 匹 马 。 当 时 要 画 
一 幅 蕊 需要 伦 旨 很久 的 上 时间， 而 现在 不 需要 那么 久 了 。 这 束 古 一 种 改 
变 ， 虽 然 改 变 的 可 能 不 是 最 核心 的 部 分 一 一 毕竟 这 仍然 是 一 幅 马 的 图 
像 。 但 是 诡 维 格 说 ， 想 象 一 下 ， 现 在 我 们 能 每 秒 钟 播放 24 幅 不 同形 态 

的 马 的 图 片 ， 这 就 是 一 种 由 量变 导致 的 质变 ， 一 部 电影 与 一 幅 静 态 的 
画 有 本 质 上 的 区 别 ! 大 数据 也 一 样 ， 量 变 导 致 质变 。 物理 学 和 生物 学 
都 告诉 我 们 ， 当 我 们 改变 规模 时 ， 事 物 的 状态 有 时 也 会 发 生 改 变 。 


我 们 整 以 纳米 技术 为 例 。 纳 米 技术 专注 于 把 东西 变 小 而 不 古 。 其 
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中 导电 了 。 银 离子 具有 抗菌 性 ， 但 当 它 以 分 子 形 式 存 在 的 时 候 ， 这 种 
性 质 会 消失 。 一 旦 到 达 纳 米 级 别 ， 金 属 可 以 变 得 柔 次 ， 陶 十 可 以 具有 
弹性 。 。 同样 ， 当 我 们 增加 所 利用 的 数据 量 时 ， 我 们 整 可 以 做 很 多 在 小 
数据 量 的 基础 上 无 法 完成 的 事情 。 


有 时 候 ， 我 们 认为 幻 束 我 们 生活 的 那 笃 限 制 ， 对 于 世间 万 物 痢 有 春 同 
样 的 约束 力 。 事 实 上 ， 尽 管 规律 相同 ， 但 是 我 们 能 够 感受 到 的 约束 ， 

很 可 能 只 对 我 们 这 样 尺度 的 事物 起 作用 。 对 于 人 类 来 说 ， 唯一 一 个 最 
重要 的 物理 定律 便 是 万 有 3 引力 定律 。 这 个 定律 无 时 无 刻 不 在 控制 着 我 
们 。 但 对 于 细小 的 昆虫 来 说 ， 重 力 是 无 天 紧要 的 。& 对 它们 而 诗 ， 物 
理 宇宙 中 有 效 的 约束 十 表面 张力 ， 这 个 张力 可 以 让 它们 在 水 上 目 由 行 
走 而 不 会 掉 下 去 。 但 人 类 对 于 表面 张力 晕 不 在 意 。 


对 于 万 有 引力 产生 的 约束 效果 而 言 ， 生 物体 的 大 小 是 非常 重要 的 。 关 
似 地 ， 对 于 信息 而 言 ， 规 模 也 是 非常 重要 的 。 谷 歌 能 够 儿 近 完美 地 给 
出 和 基于 大 量 真 实 病例 信息 所 得 到 的 流感 情况 一 致 的 结果 ， 而 且 几 乎 
是 实时 的 ， 比 疾 探 中心 快 多 了 了。 同样 ，Farecast 可 以 预测 机 票 价格 的 波 
动 ， 从 而 让 消费 者 真正 在 经 济 上 获 利 。 它 们 之 所 以 如 此 给 力 ， 都 因为 
存在 供 其 分 析 的 数 千 亿 计 的 数据 项 。 


大 数据 洞察 


| 一 方面 ， 对 大 数据 的 
掌握 程度 可 以 转化 为 经 济 价值 的 来 源 。 另 一 方面 ， 大 数据 已 经 振动 了 
世界 的 方方面面 ， 从 商业 科技 到 医疗 、 政府 、 教育 、 经 济 、 人 文 以 及 
社会 的 其 他 各 个 领域 。 


尽管 我 们 仍 处 于 大 数据 时 代 来 临 的 前 多 , (ABTA eis AN 
开 它 了 。 垃 圾 邮件 过 滤器 可 以 目 动 过 减 垃圾 邮件 ， 尽 管 它 并 不 知道 “发 
# 票 # 久 # 售 ?是 “发 票 销售 ?的 一 种 变 体 。 交 友 网 站 根据 个 人 的 性 格 与 之 
前 成 功 配 对 的 情侣 之 间 的 关联 来 进行 新 的 配对 。 具 有 “有 目 动 改正 ?功能 
的 智能 手机 通过 分 析 我 们 以 前 的 输入 ， 将 个 性 化 的 新 单 词 添加 到 手机 
词典 里 。 然 而 ， 对 于 这 些 数据 的 利用 还 仅仅 只 是 一 个 开始 。 从 可 以 目 
动 转 区 和 刹车 的 汽车 ， 到 IBM 沃 森 超 级 电脑 在 游戏 全 目 《 危 险 边 经 》 

(Jeopardy ) 中 打败 人 类 来 看 ， 这 项 技术 终 将 改变 我 们 所 居住 的 星球 
上 的 许多 东西 。 


[1] 技术 成 熟 度 曲线 又 叫 技 术 循 环 曲线 ， 或 者 直接 叫做 炒作 周期 ， 钙 指 
新 技术 、 新 概念 在 媒体 上 曝光 度 随时 间 的 变化 曲线 。 一 一 译 者 注 


[2] 拍 字 节 ， 一 般 记 作 PB， 等 于 2” 字 节 。 一 译 者 注 
[3] 艾 字 节 ， 一 般 记 作 EB， 等 于 2“ 字 节 。 一 一 译 者 注 
[4] 泽 字 节 ， 一 般 记 作 ZB， 等 于 2* 字 节 。-_ 译 者 注 


[5] 模拟 数据 也 称 为 模拟 量 ， 相 对 于 数字 量 而 言 ， 指 的 是 取 值 范围 症 连 
续 的 变量 或 者 数值 ， 例 如 声音 、 图 像 、 瘟 度 、 压 力 等 。 模 拟 数据 一 般 
采用 模拟 信号 ， 例 如 用 一 系列 连续 变化 的 电磁 波 或 电压 信和 号 来 表示 。 


一 一 译 者 注 


[6] 数字 数据 也 称 为 数字 量 ， 相 对 于 模拟 量 而 言 ， 指 的 是 取 值 范围 生 离 
散 的 变量 或 者 数值 。 数 字数 据 则 采用 数字 信和 号， 例如 用 一 系列 断 续 变 
化 的 电压 脉冲 〈 如 用 恒定 的 正 电压 表示 二 进 制 数 1， 用 恒定 的 负电 压 表 
示 二 进 制 数 0) 或 光 脉 冲 来 表示 。 译 者 注 


[7] 亚历山大 图 书馆 藏书 丰富 ， 有 据 可 考 的 超过 50000 卷 ARR) ， 

包括 《和 荷 马 史 诗 》、《 几 何 原 本 》 等 。 亚 历 山大 图 书馆 建成 之 时 正 是 
中 国 战国 时 代 的 末期 ， 此 时 百家争鸣 ， 较 有 影响 的 十 大 家 (fig > iE > 
墨 、 法 、 名 、 阴 阳 、 纵 横 、 杂 、 农 、 小 说 ) 多 有 著述 ， 且 已 出 现 如 

《诗经 》、《 楚 辞 》、《 离 骚 》 等 文学 作品 ， 虽 没有 像 亚 历 山 大 图 书 
0 a 
译 者 ; 


60 
70 


[8] 据 《 中 国 出 版 史 》 记 载 ， 中 国 的 剃 异 早 在 11 世 纪 40 年 代 束 发 明了 泥 
活字 印刷 ， 远 远 早 于 古 登 堡 15 世 纪 30 年 代 发 明 的 铅 活字 。 一 一 编者 注 


[9] 这 是 一 个 美妙 有 趣 的 例子 ， 但 是 对 于 学 习 物 理 的 人 来 说 总 是 有 些 怪 
异 。 显 然 ， 万 有 引力 一 如 既往 起 着 作用 ， 不 过 是 因为 空气 阻力 在 不 同 
密度 和 体积 的 物体 上 产生 了 不 同 的 效果 。 如 采 把 蜂 螂 从 真空 环境 的 高 
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预测 ， 大 数据 的 核心 


大 数据 的 核心 就 是 预测 。 它 通常 被 视 为 人 工 智 能 的 一 部 分 ， 或 者 更 确 
切 地 说 ， 被 视 为 一 种 机 器 学 习 。 但 是 这 种 定义 是 有 误导 性 的 。 大 数据 
不 是 要 教 机 器 像 人 一 样 思 考 。 相 反 ， 它 是 把 数学 算法 运用 到 海量 的 数 
据 上 来 预测 事情 发 生 的 可 能 性 。 一 封 邮 件 被 作为 垃圾 邮件 过 滤 掉 的 可 
能 性 ， 输 入 的 “teh” 应 该 是 “the” 的 可 能 性 ， 从 一 个 人 乱 罕 马路 时 行进 的 
轨迹 和 速度 来 看 他 能 及 时 穿 过 马路 的 可 能 性 ， 都 是 大 数据 可 以 预测 的 
范围 。 当 然 ， 如 果 一 个 人 能 及 时 穿 过 马路 ， 那 么 他 乱 穿 马路 时 ， 和 车子 
整 只 需要 稍稍 减速 就 好 。 这 些 预测 系统 之 所 以 能 够 成 功 ， 关 键 在 于 它 
们 是 建立 在 海量 数据 的 基础 之 上 的 。 此 外 ， 随 着 系统 接收 到 的 数据 越 
来 越 多 ， 它 们 可 以 聪明 到 目 动 搜索 最 好 的 信号 和 模式 ， 并 目 己 改善 目 
已 。 E) 


在 不 久 的 将 来 ， 世 界 许多 现在 单纯 依靠 人 类 判断 力 的 领域 都 会 被 计算 
机 系统 所 改变 甚至 取代 。 计 算 机 系统 可 以 发 挥 作 用 的 领域 远 远 不 止 区 
驶 和 人 交友， 还 有 更 多 更 复杂 的 任务 。 别 筷 了 ， 亚 马 逊 可 以 帮 有 我 们 推荐 
想 要 的 书 ， 合 歌 可 以 为 天 联网 站 排序 ，Facebook 知 道 我 们 的 喜好 ， 而 
LinkedIn 可 以 猜 出 我 们 认识 谁 。 包 当然， 同样 的 搁 术 也 可 以 运用 到 疾病 
诊断 、 推 荐 治疗 措施 ， 甚 至 是 识别 潜在 犯罪 分 于 上 ° 


忠 像 互联 网 通过 给 计算 机 添加 通信 功能 而 改变 了 世界 ， 大 数据 也 将 改 
变 我 们 生活 中 最 重要 的 方面 ， 因 为 它 为 我 们 的 生活 创造 了 前 所 未 有 的 
可 量化 的 维度 。 大 数据 已 经 成 为 了 新 发 明和 新 服务 的 源 果 ， 而 更 多 的 
DUE IE ee ATE 


[1] 系统 可 以 通过 一 种 “反馈 学 习 * 的 机 制 ， 利 用 自己 产生 的 数据 判断 自 
入 算法 和 参数 和 择 的 有 效 性 ， 并 实时 进行 凋 整 ， 持 续 汉 进 自身 的 表 
© HY 


[2] 这 些 任务 都 和 个 性 化 技术 相关 ， 包 括 个 性 化 排序 和 个 性 化 推荐 。 个 
性 化 技术 是 大 数据 时 代 最 重要 的 技术 ， 这 里 向 专业 读者 推荐 虽 琳 媛 等 
人 2012 年 在 《Physics Reports) ERA A “Recommender 
Systems” 的 综述 。 译 者 注 


大 数据 ， 大 挑战 


大 数据 的 精 人 散在 于 我 们 分 析 信息 时 的 三 个 转弯， 这些 转 变 将 改变 我 们 
理解 和 组 建 社 会 的 方法 。 


第 一 个 转变 就 是 ， 在 大 数据 时 代 ， 我 们 可 以 分 析 更 多 的 数据 ， 有 时 候 
其 至 可 以 处 理 和 某 个 特别 现象 相关 的 所 有 数据 ， 而 不 再 依赖 于 随机 采 
样 。 这 部 分 内 容 将 在 第 1 章 阐述 。19 世 纪 以 来 ， 当 面临 大 量 数据 时 ， 
社会 都 依赖 于 采样 分 析 。 但 是 采样 分 析 坪 信息 缺乏 时 代 和 信息 流通 受 
限制 的 模拟 数据 时 代 的 产物 。 以 前 我 们 通常 把 这 看 成 十 理所当然 的 限 
制 ， 但 高 性 能 数字 技术 的 流行 让 我 们 意识 到 ， 这 其 实 是 一 种 人 为 的 限 
制 。 与 局 限 在 小 数据 范围 相 比 ， 使 用 一 切 数据 为 我 们 市 来 了 更 高 的 精 
确 性 ， 也 让 我 们 看 到 了 一 些 以 前 无 法 发 现 的 细 市 一 一 大 数据 让 我 们 更 
清楚 地 看 到 了 样本 无 法 揭示 的 细 廊 信息 。 


第 二 个 改变 就 是 ， 研 究 数据 如 此 之 多 ， 以 至 于 我 们 不 再 热衷 于 追求 精 
确 度 。 这 部 分 内 容 将 在 第 2 章 阐述 。 当 我 们 测量 事物 的 能 力 受 限时 ， 

关注 最 重要 的 事情 和 获取 最 精确 的 结果 是 可 取 的 。 如 果 购 买 者 不 知道 
牛 群 里 有 80 头 牛 还 古 100 头 牛 ， 那 么 交易 束 无 法 进行 。 直 到 今天 ， 我 们 
的 数字 技术 依然 建立 在 精准 的 基础 上 。 我 们 假设 只 要 电子 数据 表格 把 
数据 排序 ， 数 据 库 引 擎 殴 可 以 找 出 和 我 们 检索 的 内 容 完全 一 致 的 检索 


记录 


这 种 思维 方式 适用 于 掌握 “小 数据 量 ” 的 情况 ， 因 为 需要 分 析 的 数据 很 
少 ， 所 以 我 们 必须 尽 可 能 精准 地 量化 我 们 的 记录 。 在 某 些 方 面 ， 我 们 
己 经 意识 到 了 差别 。 例 如 ， 一 个 小 商店 在 晚上 打 和 料 的 时 候 有 要 把 收银 全 
里 的 每 分 钱 都 数 清 楚 ， 但 钙 我 们 不 会 、 也 不 可 能 用 “分 ”这 个 单位 去 精 
确 度量 国 民生 产 总 值 。 随 着 规模 的 扩大 ， 对 精确 度 的 痴迷 将 减弱 。 


达到 精确 需要 有 专业 的 数据 库 。 针 对 小 数据 量 和 特定 事情 ， 追 求 精确 
性 依然 是 可 行 的 ， 比 如 一 个 人 的 银行 账户 上 是 否 有 足够 的 钱 开 有 具 文 
票 。 但 是 ， 在 这 个 大 数据 时 代 ， 很 多 时 候 ， 追 求 精确 度 已 经 变 得 不 可 
行 ， 甚 至 不 受 欢 迎 了 。 当 我 们 拥有 海量 即时 数据 时 ， 绝 对 的 精准 不 再 
征 我 们 追求 的 主要 目标 。 


大 数据 纷繁 多 样 ， 优 务 返 洒 ， 分 布 在 全 球 多 个 服务 右上 。 拥 有 了 大 数 
据 ， 我 们 不 再 需要 对 一 个 现象 刨 根 客 展 ， 只 要 掌握 大 体 的 发 展 方 网 即 


可 。 当 然 ， 我 们 也 不 是 完全 放弃 了 精确 度 ， 只 古 不 再 沉迷 于 此 。 适 当 
名 略微 观 层面 上 的 精确 度 会 让 我 们 在 宏观 层面 拥有 更 好 的 洞察 力 。 


第 三 个 转变 因 前 两 个 转变 而 促成 ， 即 我 们 不 再 热 圳 于 寻找 因果 关系 。 
这 部 分 内 容 将 在 第 3 章 曾 述 。 寻 找 因果 关系 是 人 类 长 久 以 来 的 习惯 。 即 
使 确定 因果 关系 很 困难 而 且 用 途 不 大 ， 人 类 还 是 习惯 性 地 寻找 缘由 。 
相反 ， 在 大 数据 时 代 ， 我 们 无 须 再 紧 盯 事物 之 间 的 因 采 关系 ， 而 应 该 
寻找 事物 之 间 的 相关 关系 ， 这 会 给 我 们 提供 非常 新 绪 且 有 价值 的 观 

点 。 相 天 关系 也 许 不 能 准确 地 告知 我 们 某 件 事情 为 何 会 改 生 ， 但 是 它 
ee ee eee 


如 果 数 百 万 条 电子 医疗 记录 显示 橙汁 和 阿司匹林 的 特定 组 合 可 以 治疗 

疗 症 ， 那 么 找 出 具体 的 药理 机 制 束 没有 这 种 治疗 方法 本 和 映 来 得 重要 。 

同样 ， 只 要 我 们 知道 什么 时 候 是 天 机票 的 最 佳 时 机 ， 束 算 不 知道 机 票 

价格 疡 狂 变 动 的 原因 也 无 所 请 了 。 大 数据 告诉 我 们 “十 什么 ”而 不 十 “为 

ee 
pe 
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立 的 少量 假设 的 基础 之 上 。 让 数据 发 声 ， 我 们 会 注意 到 很 多 以 前 从 来 
没有 意识 到 的 联系 的 存在 。 


例如 ， 对 冲 基 金 通 过 剖析 社交 网 络 Twitter 上 的 数据 信息 来 预测 股市 的 
表现 ， 亚 蕊 还 和 奈 飞 (Netflix) 4 根据 用 户 在 其 网 站 上 的 类 似 查 询 来 
进行 产品 推荐 Twitter，Facebook 和 LinkedIn 通 过 用 户 的 社交 网 络 图 来 
得 知 用 户 的 喜好 。 


当然 ， 人 类 从 数 千年 前 束 开 始 分 析 数 据 。 上 古代 类 索 不 达 米 亚 平 原 的 记 
账 人 员 为 了 有 效 地 跟 踩 记录 信息 发 明了 书写 。 目 从 圣经 时 代 开 始 ， 政 
府 就 通过 进行 人 口 普查 来 建立 大 型 的 国民 数据 库 。 两 百 多 年 来 ， 精 算 
师 们 也 一 直通 过 搜集 大 量 的 数据 来 进行 风险 规避 o 


模拟 时 代 的 数据 收集 和 分 析 极 其 耗 时 耗 力 ， 新 问题 的 出 现 通常 要 求 我 
们 重新 收集 和 分 析 数 据 。 数 字 化 的 到 来 使 得 数据 管理 效率 又 问 前 迈 出 
了 重要 的 一 步 。 数 字 化 将 模拟 数据 转换 成 计算 机 可 以 读 取 的 数字 数 

据 ， 使 得 存储 和 处 理 这 些 数 据 变 得 既 便 家 又 容易 ， 从 而 大 大 提高 了 数 
据 管 理 效率 。 过 去 需要 几 年 时 间 才 能 完成 的 数据 搜集 ， 现 在 只 要 几 天 
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据 时 代 的 设想 ， 即 数据 库 只 有 单一 的 用 途 和 价值 ， 而 正 是 我 们 使 用 的 
技术 和 方法 加 深 了 这 种 偏见 。 虽 然 数 子 化 是 促成 同 大 数据 转变 的 重要 
原因 ， 但 仅 有 计算 机 的 存在 却 不 足以 实现 大 数据 。 


我 们 没有 办 法 准确 描述 现在 正在 发 生 的 一 切 ， 但 是 在 第 4 章 将 提 到 
的 “数据 化 ”概念 可 以 帮助 我 们 大 致 了 解 这 次 变革 。 数 据 化 意味 着 我 们 
要 从 一 切 太阳 底下 的 事物 中 汲取 信息 ， 甚 至 包括 很 多 我 们 以 前 认为 
和 “信息 ”根本 搭 不 上 边 的 事情 。 比方 说 ， 一 个 人 所 在 的 位 置 、 引 警 的 
振动 、 桥 梁 的 承重 等 。 我 们 要 通过 量化 的 方法 把 这 些 内 容 转 化 为 数 
据 。 这 束 使 得 我 们 可 以 笑 试 许多 以 前 无 法 做 到 的 事情 ， 如 根据 引擎 的 
散热 和 振动 来 预测 引 警 古 否 会 出 现 故 障 。 这 样 ， 我 们 束 激 发 出 了 这 些 
数据 此 前 未 被 挖 气 的 潜在 价值 。 


大 数据 时 代 开启 了 一 场 寻宝 游戏 ， 而 人 们 对 于 数据 的 看 法 以 及 对 于 由 
因 采 关系 向 相关 关系 转化 时 释放 出 的 潜在 价值 的 态度 ， 正 是 主 罕 这 场 
游戏 的 关键 。 新 兴 技 术 工 具 的 使 用 使 这 一 切 成 为 可 能 。 宝 贝 不 止 一 
件 ， 每 个 数据 集 内 部 都 隐藏 着 某 些 未 被 发 掘 的 价值 。 这 场 发 据 和 利用 
数据 价值 的 竞赛 正 开始 在 全 球 上 演 。 


第 5 章 和 第 6 章 将 讲述 大 数据 如 何 改变 了 商业 、 市场 和 社会 的 本 质 。20 
世纪 ， 价 值 已 经 从 实体 基建 转变 为 无 形 财产 ， 从 土地 和 工厂 转 变 为 品 
牌 和 产权 。 如 今 ， 一 个 新 的 转变 正在 进行 ， 那 瓯 是 电脑 存储 和 分 析 数 
据 的 方法 取代 电脑 硬件 成 为 了 价值 的 源 录 。 数 据 成 为 了 有 价值 的 公司 
人 资产、 重要 的 经 济 投入 和 新 型 商业 模式 的 基石 。 虽 然 数据 还 没有 被 列 
入 企业 的 资产 负债 表 ， 但 这 只 古 一 个 时 间 问 题 。 


虽然 有 些 数据 处 理 技术 已 经 出 现 了 一 段 时 间 ， 但 是 它们 只 为 调查 局 、 
研究 所 和 世界 上 的 一 些 巨 尖 公 司 所 掌握 。 沃 尔 玛 和 美国 第 一 资本 银行 
(CapitalOne) 率先 将 大 数据 运用 在 了 零售 业 和 银行 业 ， 因 此 改变 了 
整个 行业 。 如 今 这 些 技术 大 多 都 实现 了 大 众 化 。 


大 数据 对 个 人 的 影响 十 最 惊人 的 。 在 一 个 可 能 性 和 相关 性 占 主导 地 位 

的 世界 里 ， 专 业 性 变 得 不 那么 重要 了 。 行 业 专 家 不 会 消失 ， 但 是 他 们 

必须 与 数据 表达 的 信息 进行 博 军 。 如 同 在 电影 《点 球 成 金 》 
(Moneyball) 里 ， 楼 球星 探 们 在 统计 学 家 面前 相形 见 纪 一 一 直觉 的 判 

断 被 迫 让 位 于 精准 的 数据 分 析 。 这 将 迫使 人 们 调整 在 管理 、 决 策 、 人 
资源 和 教育 方面 的 传统 理念 。 


BU ABR AI) AA AEE AAEE, AB eB] 
用 来 进行 决策 的 信息 必须 是 少量 、 精 确 并 且 至 关 重 要 的 。 但 是 ， 当 数 
据 量 变 大 、 数 据 处 理 速 度 加 快 ， 而 且 数 据 变 得 不 那么 精确 时 ， 之 前 的 
那些 预 设立 场 束 不 复 存在 了 。 此 外 ， 因 为 数据 量 极 为 庞大 ， 最 后 做 出 
决策 的 将 是 机 器 而 不 定 人 类 目 己 。 第 7 章 将 会 讨论 大 数据 的 负面 影响 。 


在 了 解 和 监视 人 类 的 行为 方面 ， 社 会 已 经 有 了 数 千年 的 经 验 。 但 是 ， 
如 何 来 监管 一 个 算法 系统 呢 ? 在 信息 化 时 代 的 早期 ， 有 一 些 政 策 专 家 
忠 看 到 了 信息 化 给 入 们 的 隐私 权 带 来 的 威胁 ， 社 会 也 已 经 建立 起 了 谎 
大 的 规则 体系 来 保障 个 人 的 信息 安全 。 但 是 在 大 数据 时 代 ， 这 些 规 则 
都 成 了 无 用 的 马 其 详 防 线 中 。 人 们 目 愿 在 网 络 上 分 享 信息 ， 而 这 种 分 
| 
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HETA, EREE, See NARS TAKZE 
We? 就 像 出 版 印刷 行业 的 发 展 推动 国家 立法 保护 言论 自由 (在 此 之 前 
没有 出 台 类 似 法 律 的 必要 ， 因 为 没有 太 多 的 言论 需要 保护 ) ， 大 数据 
时 代 也 和 需要 新 的 规章 制度 来 保卫 权势 面前 的 个 人 权利 。 


政府 机 构 和 社会 在 控制 和 处 理 数据 的 方法 上 必须 有 全 方位 的 改变 。 不 
可 否认 ， 我 们 进入 了 一 个 用 数据 进行 预测 的 时 代 ， 虽 然 我 们 可 能 无 法 
解释 其 背后 的 原因 。 如 果 一 个 医生 只 要 求 病人 遵从 医嘱 ， 却 没 法 说 明 
医学 干预 的 合理 性 的 话 ， 和 情况 会 怎么 样 呢 ?实际 上 ， 这 是 依靠 大 数据 
取得 病理 分 析 的 医生 们 一 定 会 做 的 事情 。 还 有 司法 系统 的 “合理 证 
据 ” 是 不 是 应 该 改 为 “可 能 证 据 * 呢 ?如 果真 是 这 样 ， 会 对 人 类 自由 和 苇 
产 产 生 什 么 影响 呢 ? 


我 们 在 大 数据 时 代 倡 导 的 一 系列 规范 将 在 第 8 章 进 行 介绍 。 这 些 规范 建 
立 在 我 们 很 熟悉 的 “小 数据 ?时 代 发 展 并 保留 下 来 的 规范 的 基础 之 上 。 
新 环境 要 求 旧 规范 与 时 俱 进 。 

大 数据 洞察 


大 数据 给 社会 带 来 的 益 处 将 是 多 方面 的 。 因 为 大 数据 已 经 成 为 解决 紧 
迫 世 界 性 问题 ， 如 抑制 全 球 变 暖 、 消 除 疾病 、 提 高 执政 能 力 和 发 展 经 


济 的 一 个 有 力 武器 。 但 是 大 数据 时 代 也 加 我 们 提出 了 挑战 ， 我 们 需要 
做 好 充足 的 准备 迎接 大 数据 技术 给 我 们 的 机 构 和 目 喘 之 来 的 改变 。 


大 数据 标志 着 人 类 在 寻求 量化 和 认识 世界 的 道路 上 前 进 了 一 大 步 。 

去 不 可 计量 、 存 储 、 分 析 和 共 至 的 很 多 东西 都 被 数据 化 了 。 KEKE 
的 数据 和 更 多 不 那么 精确 的 数据 为 我 们 理解 世界 打开 了 一 局 新 的 大 
pe ee ee a ne 开始 挖 握 相关 天 系 的 


寻找 原因 是 一 种 现代 社会 的 一 神 论 ， 大 数据 推翻 了 这 个 论断 。 但 我 们 
又 陷入 了 一 个 历史 的 困境 ， 那 驶 是 我 们 活 在 一 个 “上 帝 已 死 ? 的 时 代 。 
也 职 是 说 ， 我 们 曾经 坚守 的 信念 动 播 了 。 衣 刺 的 是 ， 这 些 信念 正在 
“更 好 ”的 证 据 所 取代 。 那 么 ， 从 经 验 中 得 来 的 与 证 据 相 矛盾 的 直 

(ERA IRS IT AE? 当世 界 由 探求 因果 关系 变 成 控 
HHA, 我 们 怎样 才能 既 不 损坏 建立 在 因果 推理 基础 之 上 的 社会 
党 宋 和 人 类 前 行 的 基石 ， 又 取得 实际 的 进步 呢 ? 本 书 意 在 解释 我 们 吴 
我 们 从 何 而 来 ， 并 且 提 供 当 下 玛 需 的 指导 ， 以 应 对 眼前 的 利 
im FUG BEE ° 


[1] Netflix， 也 和 常 译作 网 狸 公司 。 一 一 详 者 注 


[2] 马 奇 诡 防 线 是 法 国 在 第 一 次 世界 大 战 后 ， 为 防 德军 入 侵 而 在 其 东北 
边境 地 区 构筑 的 筑 垒 配 系 ， 以 其 陆军 部 长 姓氏 命 儿 。1940 年 5 月 至 6 
月 ， 德 国 主力 通过 阿 登山 脉 ， 从 马 奇 诡 防 线 左 可 迁 回 ， 进 抵 马 奇 诡 防 
线 的 后 方 ， 使 防线 淡 失 了 作用 。“ 马 奇 诺 防 线 ” 现 在 用 来 意 指 看 似 表 面 
坚固 ， 实 际 蝇 无 价值 的 东西 。 一 一 详 者 注 


第 一 部 分 大 数据 时 代 的 思维 变革 
01 更 多 : 不 是 随机 样本 ， 而 是 全 体 数 据 


当 数据 处 理 技术 已 经 发 生 了 翻天 覆 地 的 变化 时 ， 在 大 数据 时 代 进 行 抽 
样 分 析 惑 像 在 汽车 时 代 骑 马 一 样 。 一 切 都 改变 了 ， 我 们 需要 的 是 所 有 
的 数据 ,“ 样 本 = 总 体 ”。 


【大 数据 先锋 】 
穿孔 卡片 与 美国 人 口 普查 
大 数据 与 乔布斯 的 癌症 治 


这 
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Xoom 与 跨 境 汇款 腊 浓 交易 报警 
巴 拉 巴 西 与 第 一 次 全 社会 层面 的 网 络 分 
让 数据 < 发 声 ” 


“大 数据 ?全 在 于 发 现 和 理解 信息 内 容 及 信息 与 信息 之 间 的 关系 ， 然 而 
直到 最 近 ， 我 们 对 此 似乎 还 是 难以 把 握 。IBM 的 资深 “大 数据 ?专家 太 
KITA (Jeff Jonas) 提出 要 让 数据 “说 话 ”。 从 某 种 层面 上 来 说 ， 这 
听 起 来 很 平常 。 人 们 使 用 数据 已 经 有 相当 长 一 段 时 间 了 ， 无 论 是 日 党 
进行 的 大 量 非 正式 观察 ， 还 是 过 去 几 个 世纪 里 在 专业 层面 上 用 高 级 算 
法 进行 的 量化 研究 ， 都 与 数据 有 天。 


在 数字 化 时 代 ， 数 据 处 理 变 得 更 加 容易 、 更 加 快速 ， 人 们 能 够 在 瞬间 
处 理 成 千 上 万 的 数据 。 但 当 我 们 谈论 能 “说 话 ” 的 数据 时 ， 我 们 指 的 远 


远 不 止 这 些 。 


i 


= 


实际 上 ， 大 数据 与 三 个 重大 的 思维 转变 有 关 ， 这 三 个 转变 是 相互 联系 
和 相互 作用 的 。 


e 首 完 ， 要 分 析 与 某 事 物 相关 的 所 有 数据 ， 而 不 古 依 靠 分 析 少 量 的 数 
据 样本 。 
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e 最 后 ， 我 们 的 思想 发 生 了 转变 ， 不 再 探求 难以 捉摸 的 因果 关系 ， 转 
而 关注 事物 的 相关 关系。 


0 i 


很 长 一 段 时 间 以 来 ， 准 确 分 析 大 量 数据 对 我 们 而 言 都 是 一 种 挑战 。 过 
去 ， 因 为 记录 、 储 存 和 分 析 数 据 的 工具 不 够 好 ， 我 们 只 能 收集 少量 数 
据 进 行 分 析 ， 这 让 我 们 一 度 很 苦恼 。 为 了 让 分 析 变 得 简单 ， 我 们 会 把 
数据 量 缩减 到 最 少 。 这 是 一 种 无 意识 的 目 省 :我 们 把 与 数据 交流 的 困 
难看 成 是 目 然 的 ， 而 没有 意识 到 这 只 是 当时 技术 条 件 下 的 一 种 人 为 的 
限制 。 如 今 ， 技 术 条 件 已 经 有 了 非常 大 的 提高 ， 虽 然 人 类 可 以 处 理 的 
数据 依然 是 有 限 的 ， 也 永远 是 有 限 的 ， 但 古 我 们 可 以 处 理 的 数据 量 已 
经 大 大 地 增加 ， 而 且 示 来 会 越 来 越 多 。 


在 某 些 方面 ， 我 们 依然 没有 完全 意识 到 自己 拥有 了 能 够 收集 和 处 理 更 
大 规模 数据 的 能 力 。 我 们 还 是 在 信息 匮乏 的 假设 下 做 很 多 事情 ， 建 立 
很 多 机 构 组 织 。 我 们 假定 目 己 只 能 收集 到 少量 信息 ， 结 采 驶 真 的 如 此 
了 。 这 有 是 一 个 目 我 实现 的 过 程 。 我 们 甚至 发 展 了 一 些 使 用 尽 可 能 少 的 
信息 的 技术 。 别 志 了 ， 统 计 学 的 一 个 目的 就 是 用 尽 可 能 少 的 数据 来 证 
实 尽 可 能 重大 的 发 现 。 事 实 上 ， 我 们 形成 了 一 种 习惯 ， 那 就 是 在 我 们 
的 制度 、 处 理 过 程 和 沿 励 机 制 中 尽 可 能 地 减少 数据 的 使 用 。 为 了 理解 
大 数据 时 代 的 转变 意味 着 什么 ， 我 们 需要 首先 回顾 一 下 过 去 。 


小 数据 时 代 的 随机 采样 ， 最 少 的 数据 获得 最 多 的 信息 


直到 最 近 ， 私 人 企业 和 个 人 才 拥 有 了 大 规模 收集 和 分 类 数据 的 能 

在 过 去 ， 这 是 只 有 教会 或 者 政府 才能 做 到 的 。 当 然 ， 在 很 多 国家 ， 教 
会 和 政府 是 等 同 的 。 有 记载 的 、 最 早 的 计数 发 生 在 公元 前 8000 年 的 ， 
当时 苏 糯 尔 的 商人 用 黏土 珠 来 记录 出 售 的 商品 。 大 规模 的 计数 则 是 政 
府 的 事情 。 数 千年 来 ， 政 府 都 试图 通过 收集 信息 来 管理 国民 。 


以 人 口 普查 为 例 。 据 说 古代 埃及 曾 进 行 过 人 口 普查 ，《 旧 约 》 和 《新 
约 》 中 对 此 都 有 所 提 及 。 那 次 由 奥 上 古 斯 都 慢 撤 主导 实施 的 人 口 普查 ， 
提出 了 “每 个 人 都 必须 纳税 *"， 这 使 得 约 臣 夫 和 玛丽 搬 到 了 耶稣 的 出 生 
地 伯利恒 。1086 年 的 《末日 审判 书 》 (The Doomsday Book ) 对 当时 


英国 的 人 口 、 土 地 和 财产 做 了 一 个 前 所 未 有 的 全 面 记载 。 星 家 委员 穿 
越 整 个 国家 对 每 个 人 、 每 件 事 都 做 了 记载 ， 后 来 这 本 书 用 《圣经 》 中 
的 《未 日 审判 书 》 命 名 ， 因 为 每 个 人 的 生活 都 被 赤裸 裸 地 记载 下 来 的 
过 程 殉 像 接受 “最 后 的 审判 一样。 


然而 ， 人 口 普查 是 一 项 耗资 且 费 时 的 事情 。 国 王 威廉 一 世 (King 
William I) 在 他 发 起 的 《末日 审判 书 》 完成 之 前 就 去 世 了 。 但 是 ， 除 
非 放弃 收集 信息 ， 否 则 在 当时 没有 其 他 办 法 。 尽 管 如 此 ， 当 时 收集 的 
信息 也 只 是 一 个 大 概 情况 ， te eee Na EVERA 
记录 下 每 个 人 的 信息 。 实 际 上 ,“ 人 口 普 查 ” 这 个 词 来 源 于 拉丁 语 

的 “censere ”， 意 思 了 就 是 推测 、 估 算 。 


三 百 多 年 前 ， 一 个 名 叫 约 其 : 格 明 特 (John Graunt) AJE A 
商 提 出 了 一 个 很 有 新 意 的 方法 。 他 采用 了 一 1 
伦敦 的 人 口 数 ， 这 种 方法 就 是 后 来 的 统计 学 。 这 个 方法 不 需要 一 

一 个 人 地 计算 。 虽 然 这 个 方法 比较 粗糙 ， 但 采用 这 个 方法 ， 
利用 少量 有 用 的 样本 信息 来 获取 人 口 的 整体 情况 。 


虽然 后 来 证 实 他 能 够 得 出 正确 的 数据 仅仅 是 因为 运气 好 ， 但 在 当时 他 
的 方法 大 受 欢 迎 。 样 本 分 析 法 一 直 都 有 较 大 的 漏洞 ， 因 此 无 论 是 进行 
人 口 普查 还 是 其 他 大 数据 类 的 任务 ， 人 们 还 是 一 直 使 用 一 一 清点 这 
种 “野蛮 ”的 方法 。 


考虑 到 人 口 普 碍 的 复杂 性 以 及 耗 时 FER TS A 政府 极 少 进行 普查 。 

古 罗 马 在 拥有 数 十 万 人 口 的 时 候 每 5 年 普查 一 次 。 美 国 宪 法 规定 每 10 年 
进行 一 次 人 口 普查 ， 而 随 着 国家 人 口 越 来 越 多 ， 只 能 以 百 万 计数 。 但 
是 到 19 世 纪 为 止 ， 即 使 这 样 不 频繁 的 人 口 普查 依然 很 困难 ， 因 为 数据 
变化 的 速度 超过 了 人 口 普查 局 统计 分 析 的 能 力 。 


大 数据 先锋 
穿孔 卡片 与 类 国人 口 普 碍 


美国 在 1880 年 进行 的 人 口 普 查 ， 耗 时 8 年 才 完 成 数据 汇总 。 因 此 ， 他 们 
获得 的 很 多 数据 都 是 过 时 的 。1890 年 进行 的 人 口 普 查 ， 抽 计 要 花费 13 
年 的 时 间 来 汇总 数据 。 即 使 不 考虑 这 种 情况 违反 了 宪法 规定 ， 它 也 是 
很 仍 廖 的。 然而， 因为 税收 分 挫 和 国会 代表 人 数 确 定 都 是 建立 在 人 口 
的 基础 上 的 ， 所 以 必须 要 得 到 正确 的 数据 ， 而 且 必 须 是 及 时 的 数据 。 


美国 人 口 普查 局 面临 的 问题 与 当代 商人 和 科学 家 过 到 的 问题 很 相似 。 
很 明显 ， 当 他 们 被 数据 淹没 的 时 候 ， 已 有 的 数据 处 理工 具 已 经 难以 应 
付 了 ， 所 以 就 需要 有 更 多 的 新 技术 。 


后 来 ， 美国 人 口 普查 局 局 就 和 当时 的 美国 发 明 家 赫 尔 受 . 霍 尔 瑞 斯 
(Herman Hollerith) 签订 了 一 个 协议 ， 用 他 的 罕 孔 卡片 制 表 机 来 完成 
1890 年 的 人 口 普查 。 


经 过 大 量 的 努力 ， 霍 尔 瑞 斯 成 功 地 在 1 年 时 间 内 完成 了 人 口 普 得 的 数据 
汇总 工作 。 这 简直 就 是 一 个 奇迹 ， 它 标志 着 自动 处 理 数据 的 开端 ， 也 
为 后 来 IBM 公 司 的 成 立 黄 定 了 基础 。 但 是 ， 将 其 作为 收集 处 理 大 数据 
的 方法 依然 过 于 易 贯 。 毕 竟 ， 每 个 美国 人 都 必须 填 一 张 可 制 成 罕 孔 卡 
片 的 表格 ， 然 后 再 进行 统计 。 这 么 麻烦 的 情况 下 ， 很 难 想 象 如 采 不 足 
TEMEA KAO FEMA EAI o (Ae, WF 个 跨越 式 发 展 
的 国家 而 言 ， 十 年 一 次 的 人 口 普查 的 请 后 性 已 经 让 普查 失去 了 大 部 分 
意义 。 


这 就 是 问题 所 在 ， 是 利用 所 有 的 数据 还 是 仅仅 采用 一 部 分 呢 ? 最 明智 
的 自然 是 得 到 有 关 被 分 析 事 物 的 所 有 数据 ， 但 是 当 数量 无 比 庞大 时 ， 
这 又 不 太 现 实 。 那 如 何 选择 样本 呢 ? 有 人 提出 有 目的 地 选择 最 具 代表 
性 的 样本 是 最 恰当 的 方法 。 1934 年 ， 波 兰 统计 学 家 耶 日 . 奈 曼 (Jerzy 
Neyman) 指出 ， re A 事实 证 明 ， 问 题 的 关键 
是 选择 样本 时 的 随机 性 。 2 


统计 学 家 们 证 明 : 采样 分 析 的 精确 性 随 着 采样 随机 性 的 增加 而 大 幅 提 
高 ， 但 与 样本 数量 的 增加 关系 不 大 。 虽然 听 起 来 很 不 可 思议 ， 但 事实 
上 ,一 个 对 1100 人 进行 的 关于“ 是否 ”问题 的 抽样 调查 有 着 很 高 的 精确 
性 ， 精 确 度 甚 至 超过 了 对 所 有 人 进行 调查 时 的 979% 皇 。 这 是 真 的 ， 不 
管 是 调查 10 万 人 还 是 1 亿 人 ，20 次 调查 里 有 19 次 都 能 猜 对 。 为 什么 会 这 
样 ? 原因 很 复杂 ， 但 是 有 一 个 比较 简单 的 解释 殉 是 ， 当 样本 数量 达到 
TAMEL, 我 们 从 新 个 体 喘 上 得 到 的 信息 会 越 来 越 少 ， 束 如 同 经 
济 学 中 的 边际 效应 递减 一 样 。 


认为 样本 选择 的 随机 性 比 样本 数量 更 重要 ， 这 种 观点 是 非常 有 见地 

的 。 这 种 观点 为 我 们 开辟 了 一 条 收集 信息 的 新 道路 。 通 过 收集 随机 样 
本 ， 我 们 可 以 用 较 少 的 花费 做 出 高 精准 度 的 推断 。 因 此 ， 政 府 每 年 都 
可 以 用 随机 采样 的 方法 进行 小 规模 的 人 口 普查 ， 而 不 是 只 能 每 十 年 进 
行 一 次 。 事 实 上 ， 政 府 也 这 样 做 了 。 例 如 ， 除 了 十 年 一 次 的 人 口 大 普 
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查 ， 美 国人 口 普查 局 每 年 都 会 用 随机 采样 的 方法 对 经 济 和 人 口 进行 200 
多 次 小 规模 的 调查 。 当 收集 和 分 析 数 据 痢 不 容易 时 ， 随 机 采样 就 成 为 
应 对 信息 采集 困难 的 办 法 。 


很 快 ， 随 机 采样 整 不 仅 应 用 于 公共 部 门 和 人 口 普查 了 。 在 商业 领域 ， 
随机 采样 被 用 来 监管 商品 质量 。 这 使 得 监管 商品 质量 和 提升 商品 品质 
变 得 更 容易 ， 花 费 也 更 少 。 以 前 ， 全 面 的 质量 监管 要 求 对 生产 出 来 的 
每 个 产品 进行 检查 ， 而 现在 只 需 从 一 批 商品 中 随机 抽取 部 分 样品 进行 
仿 查 束 可 以 了 。 本 质 上 来 说 ， 随 机 采样 让 大 数据 问题 变 得 更 加 切实 可 
行 。 同 理 ， 它 将 客户 调查 引进 了 零售 行业 ， 将 焦点 讨论 引进 了 政治 

界 ， 也 将 许多 人 文 问 题 变 成 了 社会 科学 问题 。 


随机 采样 取得 了 巨大 的 成 功 ， 成 为 现代 社会 、 现 代 测量 领域 的 主 心 

骨 。 但 这 只 是 一 条 捷径 ， 是 在 不 可 收集 和 分 析 全 部 数据 的 情况 下 的 选 
择 ， 它 本 身 存 在 许多 固有 的 缺陷 。% 它 的 成 功 依赖 于 采样 的 绝对 随机 
性 ， 但 是 实现 采样 的 随机 性 非常 困难 。 一 旦 采样 过 程 中 存在 任何 仿 

见 ， 分 析 结 果 束 会 相去 甚 远 。 


最 近 ， 以 固定 电话 用 户 为 基础 进行 投票 民 调 束 面 临 了 这 样 的 问题 ， 采 
样 缺乏 随机 性 ， 因 为 没有 考虑 到 只 使 用 移动 电话 的 用 户 一 一 这 些 用 户 
一 般 更 年 轻 和 更 热爱 自由。 没有 考虑 到 这 些 用 户 ， 目 然 束 得 不 到 正确 
的 预测 。2008 年 在 奥巴马 与 释 凯 恩 之 间 进 行 的 美国 总 统 大 选中 ， 蓄 洛 
SAA] > ARRP O (Pew) 、 美 国 广播 公司 和 《华盛顿 邮 

报 》 社 这 些 主 要 的 民 调 组 织 都 发 现 ， 如 采 他 们 不 把 移动 用 户 考虑 进 

来 ， 民 意 测试 结 来 束 会 出 现 三 个 点 的 偏差 ， 而 一 旦 考虑 进来 ， 偏 差 整 
只 有 一 个 点 。 鉴 于 这 次 大 选 的 票数 差距 极其 微弱 ， 这 已 经 是 非常 大 的 


更 糟糕 的 是 ， 随 机 采样 不 适合 考察 子 类 别 的 情况 。 因 为 一 旦 继续 细 
分 ， 随 机 采样 结果 的 错误 率 会 大 大 增加 。 这 很 容易 理解 。 倘 若 你 有 一 
份 随机 采样 的 调查 结果 ， 是 关于 1000 个 人 在 下 一 次 竞选 中 的 投票 意 
向 。 如 果 采 样 时 足够 随机 ， 这 份 调查 的 结果 就 有 可 能 在 3% 的 误差 范围 
内 显示 全 民 的 意向 。 但 是 如 果 这 个 3% 左 右 的 误差 本 来 就 是 不 确定 的 ， 
却 又 把 这 个 调查 结果 根据 性 别 、 地 域 和 收入 进行 细 分 ， 结 果 是 不 是 越 
WE? 


你 设想 一 下 ， 一 个 对 1000 个 人 进行 的 调查 ， 如 果 要 细 分 到 “东北 部 的 富 
裕 女 性 *， 调 查 的 人 数 承 远 远 少 于 1000 人 了 “。 即 使 是 完全 随机 的 调查 ， 
倘 春 只 用 了 几 十 个 人 来 预测 整个 东北 部 主 容 女性 选民 的 意愿 ， 还 是 不 
可 能 得 到 精确 结 来 啊 ! 而 且 ， 一 旦 采样 过 程 中 存在 任何 偏见 ， 在 细 分 
领域 所 做 的 预测 整 会 大 错 特 错 。 


因此 ， 当 人 们 想 了 解 更 深层 次 的 细 分 领域 的 情况 时 ， 随 机 采样 的 方法 
忠 不 可 取 了 。 在 宏观 领域 起 作用 的 方法 在 微观 领域 失去 了 作用 。 随 机 
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变 得 模糊 不 清 。 


随机 采样 也 需要 产 密 的 安排 和 执行 。 人 们 只 能 从 采样 数据 中 得 出 事先 
设计 好 的 问题 的 结果 一 一 千 万 不 要 奢求 采样 的 数据 还 能 回答 你 突然 意 
识 到 的 问题 。 所 以 虽说 随机 采样 是 一 条 捷径 ,但 它 也 只 是 一 条 捷径 。 
随机 采样 方法 并 不 适用 于 一 切 情况 ， 因 为 这 种 调查 结 采 缺乏 延展 性 ， 
即 调查 得 出 的 数据 不 可 以 重新 分 析 以 实现 计划 之 外 的 目的 。 


我 们 来 看 一 DNA 分 析 。 由 于 技术 成 本 大 幅 下 跌 以 及 在 医学 方面 的 广 
阔 前 景 ， 个 人 基因 排序 成 为 了 一 1 新兴 产 业 。2012 年 ， 基 因 组 解码 的 
价格 跌 破 1000 闫 元， 这 也 是 非 正式 的 行业 平均 水 平 。 从 2007 年 起 ， 寿 
合 的 新 兴 科技 公司 23andme 束 开始 分 机 人 类 基因 ， 价 格 仅 为 儿 百 天 
元 。 这 可 以 揭示 出 人 类 遗传 密码 中 一 些 会 导致 其 对 某 些 疾病 抵 抗力 差 
的 特征 ， 如 乳腺 癌 和 心脏 病 。23andme 希 望 能 通过 整合 顾客 的 DNA 和 
健康 信息 ， 了 人 解 到 用 其 他 方式 不 能 获取 的 新 信息 。 


公司 对 某 人 的 一 小 部 分 DNA 进 行 排序 ， 标 注 出 几 十 个 特定 的 基因 缺 
陶 。 这 只 是 该 人 整个 基因 密码 的 样本 ， 还 有 几 十 亿 个 基因 碱 基 对 未 排 
序 。 最 后 ，23andme 只 能 回答 其 标注 过 的 基因 组 表现 出 来 的 问题 。 发 
现 新 标注 时 ， 该 人 的 DNA 必 须 重 新 排序 ， 更 准确 地 说 ， 和 是 相关 的 部 分 
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发 现 问题 ， 但 不 能 回答 事先 未 考虑 到 的 问题 。 


大 数据 先锋 
大 数据 与 乔布斯 的 瘤 证 治疗 


苹果 公司 的 传奇 忌 裁 史 带 夫 : 乔 布 斯 在 与 癌症 斗争 的 过 程 中 采用 了 不 同 
的 方式 ， 成 为 世界 上 第 一 个 对 目 喘 所 有 DNA 和 肿瘤 DNA 进 行 排序 的 


Pee FIG, TESA r AILE HRKI PEH, 这 是 23andme 报 价 的 几 
百倍 之 多 。 所 以 ， 他 得 到 的 不 是 一 个 只 有 一 系列 标记 的 样本 ， 他 得 到 
了 包括 整个 基因 密码 的 数据 文档 。 


对 于 一 个 普通 的 癌症 患者 ， 医 生 只 能 期 望 她 的 DNA 排 列 同 试验 中 使 用 
的 样本 足够 相似 。 但 是 ， 史 带 夫 :乔布斯 的 医生 们 能 够 基于 乔布斯 的 特 
定 基因 组 成 ， 按 所 需 效果 用 药 。 如 果 癌 证 病变 ;导致 药物 失效 ， 医生 可 
ARNERI 种 药 ， 也 就 是 乔布斯 所 说 的 “从 一 片 睡 莲 叶 跳 到 另 一 
ie 乔布斯 开玩笑 说 : “我 要 么 是 第 一 个 通过 这 种 方式 战胜 癌症 的 

要 公 就 是 最 后 一 个 因为 这 种 方式 死 于 癌症 的 人 ”虽然 他 的 愿望 都 
A, 但 是 这 种 获得 所 有 数据 而 不 仅 是 样本 的 方法 还 是 将 他 的 生 
命 延 长 了 好 儿 年 。 


全 数据 模式 ， 样 本 = 总 体 


在 信息 处 理 能 力 受 限 的 时 代 ， 世 界 需 要 数据 分 析 ， 却 缺少 用 来 分 析 所 
收集 数据 的 工具 ， 因 此 随机 采样 应 运 而 生 ， 它 也 可 以 被 视 为 那个 时 代 
的 产物 。 如 今 ， 计 算 和 制 表 不 再 像 过 去 一 样 困难 。 感 应 右 、 手 机 导 

航 、 网 站 点 击 和 Twitter 被 动 地 收集 了 大 量 数据 ， 而 计算 机 可 以 轻易 地 
对 这 些 数据 进行 处 理 。 


采样 的 目的 束 古 用 最 少 的 数据 得 到 最 多 的 信息 。 当 我 们 可 以 获得 海量 
数据 的 时 候 ， 它 束 没 有 什么 意义 了 。 数 据 处 理 技术 已 经 发 生 了 翻天 徐 
地 的 改变 ， 但 我 们 的 方法 和 思维 却 没 有 跟 上 这 种 改变 。 


采样 一 直 有 一 个 被 我 们 广泛 承认 却 又 总 有 意 避 开 的 缺陷 ， 现 在 这 个 缺 
陷 越 来 越 难 以 忽视 了 。 采 样 名 视 了 细节 考察 o ERD TCE A 

能 利用 采样 分 析 法 来 进行 考察 ， 但 是 在 很 多 领域 ， 从 收集 部 分 数据 到 
收集 尽 可 能 多 的 数据 的 转变 已 对 发 生 了 。 如 有 果 可 能 的 话 ， 我 们 会 收集 
所 有 的 数据 ， 即 “样本 = 总 体 ”。 


正如 我 们 所 看 到 的 , “样本 = 总 体 " 是 指 我 们 能 对 数据 进行 深度 探讨 ， 而 
采样 几乎 无 法 达到 这 样 的 效果 。 上 面 提 到 的 有 关 采 样 的 例子 证 明 ， 用 
采样 的 方法 分 析 整 个 人 口 的 情况 ， 正 确 率 可 达 97%。 对 于 某 些 事 物 来 
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甚至 还 会 失去 对 某 些 特定 子 类 别 进行 进一步 研究 的 能 力 。 我 们 不 
能 满足 于 正念 分 和 般 中 良平 凡 的 景 腿 。 生 活 中 真正 有 趣 的 事情 经 党 
藏匿 在 细节 之 中 ， 而 采样 分 析 法 却 无 法 捕捉 到 这 些 细节 。 


谷歌 流感 趋势 预测 并 不 是 依赖 于 对 随机 样本 的 分 析 ， 而 是 分 析 了 整个 
美国 几 十 亿 条 互联 网 检索 记录 。 分 析 整 个 数据 库 ， 而 不 是 对 一 个 小 样 
本 进行 分 析 ， 能 够 提高 微观 层面 分 析 的 准确 性 ， 甚 至 能 够 推测 出 某 个 
特定 城市 的 流感 状况 ， 而 不 只 是 一 个 州 或 是 整个 国家 的 情况 。Farecast 
的 初始 系统 使 用 的 样本 包含 12000 个 数据 ， 所 以 取得 了 不 错 的 预测 结 

果 。 随 着 奥 伦 . 埃 齐 奥 尼 不 断 添加 更 多 的 数据 ， 预 测 的 结果 越 来 越 准 

确 。 最 终 ，Farecast 使 用 了 每 一 条 航线 整整 一 年 的 价格 数据 来 进行 预 

测 。 埃 齐 奥 尼 说 : “这 只 是 一 个 暂时 性 的 数据 ， 随 着 你 收集 的 数据 越 来 
越 多 ， 你 的 预测 结果 会 越 来 越 准 确 。” 


所 以 ， 我 们 现在 经 常会 放弃 样本 分 析 这 条 捷径 ， 选 择 收集 全 面 而 完整 
的 数据 。 我 们 需要 足够 的 数据 处 理 和 存储 能 力 ， 也 需要 最 先进 的 分 析 
技术 。 同 时 ， 简 单 廉 价 的 数据 收集 方法 也 很 重要 。 过 去 ， 这 些 问题 中 
的 任何 一 个 都 很 痰 手 。 在 一 个 质 源 有 限 的 时 代 ， 要 解决 这 些 问题 需要 
付出 很 高 的 代价 。 但 古 现 在 ， 解 决 这 些 难 题 已 经 变 得 简单 容易 得 多 。 
经 只 有 大 公司 才能 做 到 的 事情 ， 现 在 绝 大 部 分 的 公司 都 可 以 做 到 
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通过 使 用 所 有 的 数据 ， 我 们 可 以 发 现 如 若 不 然则 将 会 在 大 量 数据 中 淹 
没 挥 的 情况 。 例 如 ， 信 用 卡 诈 骄 是 通过 观察 异 苗 情况 来 识别 的 ， 只 有 
掌握 了 所 有 的 数据 才能 做 到 这 一 点 。 在 这 种 情况 下 ， 异 常 值 是 最 有 用 
的 信息 ， 你 可 以 把 它 与 正常 交易 情况 进行 对 比 。 这 是 一 个 大 数据 问 

题 。 而 且 ， 因 为 交易 是 即时 的 ， 所 以 你 的 数据 分 析 也 应 该 古 即时 的 。 


大 数据 先锋 
Xoom 与 跨 境 汇款 异常 交易 报警 


Xoom 走 一 个 专门 从 事 跨 境 汇款 业务 的 公司 ， 它 得 到 了 很 多 拥有 大 数据 
的 大 公司 的 文 持 。 它 会 分 析 一 笔 交 易 的 所 有 相关 数据 。2011 年 ， 它 注 

意 到 用 ”发现 卡 " 从 新泽西 州 汇款 的 交易 量 比 正 间 情况 多 一 些 ， 系 统 于 

是 局 动 报警 。Xoom 公 司 的 首席 执行 官 约翰 ' 孔 译 (John Kunze) 解释 
说 : “这 个 系统 关注 的 是 不 应 该 出 现 的 情况 。” 单 独 来 看 ， 每 笔 交 易 都 
古 合法 的 ， 但 是 事实 证 明 这 古 一 个 犯 腓 集团 在 试图 诈骗 。 而 发 现 异 第 
HY ETE, BSE ae, OAT ia 


然而 ， 使 用 所 有 的 数据 并 不 代表 这 是 一 项 艰巨 的 任务 。 大 数据 中 

的 “大 "不 是 绝对 意义 上 的 大 ， 虽 然 在 大 多 数 情况 下 是 这 个 意思 。 谷 歌 
流感 趋势 预测 建立 在 数 亿 的 数学 模型 上 ， 而 它们 又 建立 在 数 十 亿 数 据 
节点 的 基础 之 上 。 完 整 的 人 体 基因 组 有 约 30 亿 个 碱 基 对 。 但 这 只 是 单 
纯 的 数据 节点 的 绝对 数量 ， 并 不 代表 它们 就 是 大 数据 。 大 数据 是 指 不 
用 随机 分 析 法 这 样 的 捷径 ， 而 采用 所 有 数据 的 方法 。 谷歌 流感 趋势 和 
乔布斯 的 医生 们 采取 的 惑 是 大 数据 的 方法 。 


日 本 国民 体育 运动 * 相 扑 ” 中 非法 操纵 比赛 结果 的 发 现 过 程 ， 就 恰 到 好 
处 地 说 明了 使 用 “样本 = 总 体 ” 这 种 全 数据 模式 的 重要 性 。 消 极 比 赛 一 直 
被 极力 禁止 ， 备 受 诞 责 ， 很 多 运动 员 深 受 困 扰 。 芝 加 哥 大 学 的 一 位 很 
有 前 途 的 经 济 学 家 斯 带 夫 : 列 维 特 (Steven Levitt) ， 在 《美国 经 济 评 
论 》 上 发 表 了 一 篇 研究 论文 ， 其 中 提 到 了 一 种 发 现 这 种 情况 的 方法 : 
查看 运动 员 过 去 所 有 的 比赛 资料 。 他 的 畅销 书 《 魔 时 经 济 学 》 
(Freakonomics ) 中 也 提 到 了 这 个 观点 ， 他 认为 检查 所 有 的 数据 是 非 
常 有 价值 的 。 


列 维特 和 他 的 同事 马克 . 达 根 (Mark Duggan) 使 用 了 11 年 中 超过 64000 
场 控 跤 比赛 的 记录 ， 来 寻找 异常 性 。 他 们 获得 了 重大 的 发 现 。 非 法 操 
纵 比 赛 结果 的 情况 确实 时 有 发 生 ， 但 是 不 会 出 现在 大 家 很 关注 的 比赛 
上 。 冠 军 赛 也 有 可 能 被 操纵 ， 但 是 数据 显示 消极 比赛 主要 还 是 出 现在 
不 太 被 关注 的 联赛 的 后 几 场 中 。 这 时 基本 上 没有 什么 风险 ， 因 为 很 多 
选手 根本 就 没有 获奖 的 希望 。 


相 扑 比赛 的 一 个 比较 特殊 的 地 方 是 ， 选 手 需要 在 15 场 赛事 中 的 大 部 分 
场次 取得 胜利 才能 保持 排名 和 收入 。 这 样 一 来 束 会 出 现 利 益 不 对 称 的 
问题 。 当 一 名 7 胜 7 负 的 摔跤 手 碰 到 一 个 8 胜 6 负 的 对 手 时 ， 比 赛 结 采 对 
第 一 个 选手 来 说 极其 重要 ， 对 他 的 对 手 而 言 则 没有 那么 重要 。 列 维特 
和 达 根 发 现 ， 在 这 样 的 情况 下 ， 需 要 最 的 那个 选手 很 可 能 会 局 。 这 看 
起 来 像 是 对 手 送 的 “人 孔 物 ”， 因 为 在 联系 紧密 的 相 扑 界 ， 帮 别人 一 把 束 
征 给 目 己 留 了 一 条 后 路 。 


有 没有 可 能 十 要 右 的 决心 帮助 这 个 选手 获胜 呢 ? 答案 是 ， 有 可 能 。 但 
征 数 据 显 示 的 情况 是 ， 需 要 顾 的 选手 的 求 胜 心 也 只 能 把 胜率 提高 

259%。 上 所 以 ， 把 胜利 完全 归功 于 求 胜 心 是 不 妥当 的 。 对 数据 进行 进 一 
步 分 析 可 能 会 发 现 ， 与 他 们 在 先前 比赛 中 的 表现 相 比 ， 当 他 们 再 相遇 
时 ， 上 次 失利 的 一 方 要 拥有 比 对 方 更 高 的 胜率 。 因 为 在 相 扑 界 ， 你 的 


付出 总 会 有 所 “回报 ”， 所 以 第 一 次 的 胜利 看 上 去 更 像 是 一 名 选手 送 给 
另 一 名 选手 的 礼物 。 


这 个 情况 是 显而易见 的 。 但 是 如 有 果 采 用 随机 采样 分 析 法 ， 束 无 法 发 现 
这 个 情况 。 而 大 数据 分 析 通 过 使 用 所 有 比赛 的 极 大 数据 捕 提 到 了 这 个 
Nt ee 
到 什么 鱼 。 


一 个 数据 库 并 不 需要 有 以 太 字 节 所 计 的 数据 。 在 这 个 相 扑 案例 中 ， 整 
个 数据 库 包 含 的 字 节 量 还 不 如 一 张 普 通 的 数码 照片 包含 得 多 。 但 是 大 
数据 分 析 法 不 只 关注 一 个 随机 的 样本 。 这 里 的 “大 ” 取 的 是 相对 意义 而 
不 是 绝对 意义 ， 也 就 古 说 这 十 相对 所 有 数据 来 说 的 。 


很 长 一 段 时 间 内 ， 随 机 采样 都 是 一 条 好 的 捷径 ， 它 使 得 数字 时 代 之 前 
的 大 量 数 据 分 析 变 得 可 能 。 但 束 像 把 一 张 数码 照片 或 者 一 站 数码 歌曲 
截取 成 多 个 小 文件 似 的 ， 在 采样 分 析 的 时 候 ， 很 多 信息 就 丢失 了 
你 能 欣赏 一 首 歌 的 抽样 吗 ? 拥有 全 部 或 几乎 全 部 的 数据 ， 我 们 束 能 够 
从 不 同 的 角度 ， 更 细致 地 观察 和 研究 数据 的 方方面面 。 


我 们 可 以 用 Lytro 相 机 来 打 一 个 恰当 的 比方 。Lytro 相 机 起 具有 后 新 性 
的 ， 因 为 它 把 大 数据 运用 到 了 基本 的 摄影 中 。 与 传统 相机 只 可 以 记录 
一 束 光 不 同 ，Lytro 相 机 可 以 记录 整个 光 场 里 所 有 的 光 ， 达 到 1100 万 束 
之 多 。 有 具体 生成 什么 样 的 照片 则 可 以 在 担 摄 之 后 再 根据 需要 决定 。 用 
尸 没 必要 在 一 开始 就 聚焦 ， 因 为 该 相机 可 以 捕捉 到 所 有 的 数据 ， 所 以 
之 后 可 以 选择 聚焦 图 像 中 的 任 一 点 。 整 个 光 场 的 光束 都 被 记录 了 ， 也 
束 是 收集 了 所 有 的 数据 , “样本 = 总 体 ”。 因 此 ， 与 普通 照片 相 比 ， 这 些 
照片 回 更 具 * 可 循环 利用 性 ”。 如 果 使 用 普通 相机 ， 摄 影 师 吏 必 须 在 扫 
照 之 前 决定 好 聚焦 点 。 


同 理 ， 因 为 大 数据 是 建立 在 掌握 所 有 数据 ， 至 少 是 尽 可 能 多 的 数据 的 
基础 上 的 ， 所 以 我 们 就 可 以 正确 地 考察 细节 并 进行 新 的 分 析 。 在 任何 
细微 的 层面 ， 我 们 都 可 以 用 大 数据 去 论证 新 的 假设 。 是 大 数据 让 我 们 
发 现 了 相 扑 中 的 非法 操纵 比赛 结 末 、 流 感 的 传播 区 域 和 对 抗 癌症 需要 
针对 的 那 部 分 DNA。 它 让 我 们 能 清楚 分 析 微 观 层 面 的 情况 。 


当然 ， 有 些 时 候 ， 我 们 还 是 可 以 使 用 样本 分 析 法 ， 毕 竞 我 们 仍然 活 在 
一 个 资源 有 限 的 时 代 。 但 是 更 多 时 候 ， 利 用 手中 掌握 的 所 有 数据 成 为 
了 最 好 也 是 可 行 的 选择 。 


ba 
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了 样本 分 析 ， 社 会 科学 不 再 单纯 依赖 于 分 析 实 证 数据 。 这 门 学 科 过 去 
曾 非 党 依赖 样本 分 析 、 研 究 和 调查 问卷 。 当 记录 下 来 的 是 人 们 的 平常 
状态 ， 也 就 不 用 担心 在 做 研究 和 调查 问卷 时 存在 的 偏见 中 了 。 现 在 ， 
我 们 可 以 收集 过 去 无 法 收集 到 的 信息 ， 不 管 是 通过 移动 电话 表现 出 的 
关系 ， 还 是 通过 Twitter 信息 表现 出 的 感情 。 更 重要 的 是 ， 我 们 现在 也 
不 再 依赖 抽样 调查 了 。 


艾 伯 特 - 拉 斯 洛 : 巴 拉巴 西 (Albert-Ldszl6 Barabasi) =, FMEA FE 
研究 人 与 人 之 间 的 互动 。 于 是 他 们 调查 了 四 个 月 内 所 有 的 移动 通信 记 
录 一 一 当然 是 匿名 的 ， 这 些 记录 是 一 个 为 全 美 五 分 之 一 人 口 提供 服务 
的 无 线 运营 两 提供 的 。 这 是 第 一 次 在 全 社会 层面 用 接近 于 “样本 = 总 
体 ” 的 数据 资料 进行 网 络 分 析 。 通 过 观察 数 百 万 人 的 所 有 通信 记录 ， 我 
们 可 以 产生 也 许 通 过 任何 其 他 方式 都 无 法 产生 的 新 观点 。 


有 趣 的 是， 与 小 规模 的 研究 相 比 ， 这 个 团队 发 现 ， 如 果 把 一 个 在 社区 
内 有 很 多 连接 关系 的 人 从 社区 关系 网 中 崭 除 挤 ， 这 个 关系 网 会 变 得 没 
那么 高 效 但 却 不 会 解体 ， 但 如 果 把 一 个 与 所 在 社区 之 外 的 很 多 人 有 着 
连接 关系 的 人 从 这 个 关系 网 中 吻 除 ， 整 个 关系 网 很 快 束 会 破碎 成 很 多 
小 块 。m 这 个 研究 结 采 非 第 重要 也 非常 得 出 人 意料 。 谁 能 想象 一 个 在 
关系 网 内 有 着 众多 好 友 的 人 的 重要 性 还 不 如 一 个 只 是 与 很 多 关系 网 外 
的 人 有 联系 的 人 呢 ? 这 说 明 一 般 来 说 无 论 古 针 对 一 个 小 团体 还 十 整 
个 社会 ， 多 样 性 是 有 和 额外 价值 的 。 这 个 结果 促使 我 们 重新 审视 一 个 人 
在 社会 关系 网 中 的 存在 价值 。 


大 数据 洞察 


我 们 总 十 习惯 把 统计 抽样 看 做 文明 得 以 建立 的 牢固 基石 ， 束 如同 几 何 
学 定理 和 万 有 引力 定律 一 样 。 但 是 统计 抽样 其 实 只 是 为 了 在 技术 受 限 
的 特定 时 期 ， 解 决 当时 存在 的 一 些 特定 问题 而 产生 的 ， 其 历史 尚 不 足 
一 百年 。 如 今 ， 技 术 环境 已 经 有 了 很 大 的 改善 。 在 大 数据 时 代 进 行 抽 
样 分 析 吏 像 是 在 汽车 时 代 骑 马 一 样 。 在 某 些 特定 的 情况 下 ， 我 们 依然 
可 以 使 用 样本 分 析 法 ， 但 这 不 再 是 我 们 分 析 数 据 的 主要 方式 。 慢 慢 
地 ， 我 们 会 完全 抛弃 样本 分 析 。 


[1] 2059-485 BAPE AY Sah BY LASS OL te te FLAS /ENatural and Political 
Observations Made upon the Bills of Mortality 。 尽 管 他 并 未 真正 给 出 一 
种 有 效 的 办 法 来 推断 疾病 流行 时 的 人 口 数 或 死亡 率 ， 但 是 他 首次 建立 
了 区 分 各 年 龄 段 的 存活 率 表 ， 因 此 被 认为 是 人 口 统计 学 的 主要 创始 人 


之 一 。 一 一 译 者 注 


[2] 在 对 一 个 量 (例如 年 收入 ) 进行 估计 的 时 候 ， 如 果 总 体 可 以 分 为 很 
多 层 (例如 所 有 人 口 按照 不 同年 龄 或 者 不 同 职业 分 成 很 多 层 ) ， 一 种 
直观 的 想法 是 每 一 层 随 机 抽样 的 样本 大 小 应 该 正比 于 这 个 层 所 包含 人 
口 的 多 少 。 奈 曼 指 出 ， 最 优 分 配 并 非 如 此 简单 ， 实 际 上 ， 层 越 大 ， 层 
内 待 估计 量 的 变化 越 大 ， 该 层 抽 样 的 单位 费用 越 小 ， 则 该 层 的 抽样 就 
应 该 越 多 。 具 体 的 公式 和 推导 过 程 可 以 参考 1934 年 妹 曼 在 Journal of 

the Royal Statistical Society 上 发 表 的 “On the two different aspects of the 
representative method: The method of stratified sampling and the method 
of purposive selection” — X ° 译 者 注 。 


[3] 此 处 指 对 回答 “是 ”的 概率 的 估计 精度 可 以 达到 97% 左 右 ， 也 就 古 说 
估计 值 的 标准 差 在 3% 左 右 。 一 一 译 者 注 


[4] 刚才 讨论 的 还 只 是 最 简单 的 经 典 抽样 问题 。 尺 管 寻 曼 等 人 指出 了 其 
中 非 乎 凡 的 问题 ， 但 毕 竞 存在 最 优 抽样 的 判断 标准 和 最 优 方法 。 节 
近 ， 祝 建华 教授 在 一 次 讨论 中 指出 ， 如 有 果 抽 样 的 对 象 更 复杂 ， 例 如 是 
一 个 网 络 ， 那 么 根本 找 不 到 一 个 “最 优 抽样 ?的 标准 ， 更 不 可 能 奢求 抽 
样 得 到 的 小 网 络 能 够 反映 总 体 的 所 有 结构 特性 。 一 一 译 者 注 


[5] 太 字 节 ， 一 般 记 作 TB， 等 于 2* 字 节 。 一 一 译 者 注 


[6] 这 种 偏见 既 包 括 研究 者 设计 实验 和 问卷 时 的 偏差 ， 也 包括 被 斌 人员 
下 了 解 自己 作为 袜 斌 的 角色 而 产生 的 不 同 于 日 党 的 心理 和 行为 
一 译 者 ; 


[7] 全 球 最 权威 的 复杂 网 络 研 究 专 家 之 一 ， 其 最 新 作品 《爆发 》 
(Bursts) 是 大 数据 新 科学 范式 的 典型 代表 ， 该 书 的 简体 中 文 版 已 由 
满 访 文化 策划 、 中 国人 民 大 学 出 版 社 出 版 ， 推 荐 与 本 书 参照 阅读 。 


一 一 译 者 注 


[8] 作者 对 这 项 研究 的 理解 稍 有 不 妥 。 该 研究 并 未 关注 从 网 络 中 移 除 节 
点 “手机 用 户 ) 的 情形 ， 而 是 考察 从 网 络 中 移 除 链 路 (通话 关系 ) 对 


网 络 结构 的 影响 。 借 鉴 渗 流 理论 (Percolation Theory) ， 作 者 发 现 ， 
移 除 弱 关系 而 非 强 天 系 反 而 会 导致 快速 破碎 成 者 干 小 碎 族 。 详 细 分 析 
可 以 参考 Onnela 等 人 2007 年 在 《美国 科学 院 院 刊 》 上 发 表 的 “Structure 


and tie strengths in mobile communication networks” 一 文 。 Ait 


[9] 就 个 人 而 谨 ， 可 以 通过 重 著 社区 控 据 的 方法 找到 同时 属于 多 个 社区 
的 广 点 ， 这 些 人 往往 对 网 络 连通 性 至 关 重 要 。 就 联系 而 言 ， 可 以 控 据 
起 桥接 作用 的 连 边 ， 这 些 连 边 往往 对 网 络 连通 性 至 关 重 要 。 这 方面 的 
概念 和 算术 可 参考 2005 年 Palla 等 人 在 《自然 》 上 发 表 的 名 

为 “Uncovering the overlapping community structure of complex networks 
in nature and society” 一 文 及 2010 年 程 学 旗 等 人 在 《统计 力学 杂志 》 上 
发 表 的 名 为 “Bridgeness: a local index on edge significance in maintaining 
global connectivity” —X ° alt 


02 更 杂 : 不 是 精确 性 ， 而 是 混杂 性 


执 迷 于 精确 性 是 信息 缺乏 时 代 和 模拟 时 代 的 产物 。 只 有 59% 的 数据 是 结 
FITE H feai FIS FEER o o MRDA, R FI% IFA 
化 数据 都 无 法 被 利用 ， 只 有 接受 不 精确 性 ， 我 们 才能 打开 一 局 从 未 涉 
足 的 世界 的 窗户 。 


【大 数据 先锋 】 

微软 与 语料库 数据 添加 

IBM Candidate 计 算 机 翻译 项 目 
无 所 不 包 的 谷歌 翻译 系统 
英国 石油 公司 与 无 线 感应 大 
拼 省 理工 与 通货 紧缩 预测 软件 


Hadoop 与 VISA 的 13 分 钟 


允许 不 精确 


在 越 来 越 多 的 情况 下 ， 使 用 所 有 可 获取 的 数据 变 得 更 为 可 能 ， 但 为 此 
也 要 付出 一 定 的 代价 。 数 据 量 的 大 幅 增 加 会 造成 结果 的 不 准确 ， 与 此 
同时 ， 一 些 错误 的 数据 也 会 混 进 数据 库 。 然 而 ， 重 点 是 我 们 能 够 努力 
避免 这 些 问 题 。 我 们 从 不 认为 这 些 问题 是 无 法 避免 的 ， 而 且 也 正在 学 
会 接受 它们 。 这 吏 是 由 "小 数据 ?到 “大 数据 ”的 重要 转变 之 一 。 


对 “小 数据 ?而 言 ， 最 基本 、 最 重要 的 要 求 殉 是 减少 错误 ， 保 证 质量 。 
因为 收集 的 信息 量 比较 少 ， 所 以 我 们 必须 确保 记录 下 来 的 数据 尽量 精 
确 。 无 论 征 确定 天 体 的 位 置 还 是 观测 显微镜 下 物体 的 大 小 ， 为 了 使 结 
条 更 加 准确 ， 很 多 科学 家 都 致力 于 优化 测量 的 工具 。 在 采样 的 时 候 ， 
对 精确 度 的 要 求 束 更 高 更 苛刻 了 。 因 为 收集 信息 的 有 限 意味 着 细微 的 
错误 会 被 放大 ， 甚 至 有 可 能 影响 整个 结 采 的 准确 性 。 


历史 上 很 多 时 候 ， 人 们 会 把 通过 测量 世界 来 征服 世界 视 为 最 大 的 成 
号 。 事 实 上 ， 对 精确 度 的 高 要 求 始 于 13 世 纪 中 期 的 欧洲 。 那 时 候 ， 天 
文学 家 和 学 者 对 时 间 、 空 间 的 研究 采取 了 比 以 往 更 为 精确 的 量化 方 
式 ， 用 历史 学 家 阿尔 弗 雷 德 . 克 罗 斯 比 (Alfred Crosby) 的 话 来 说 就 
是 “测量 现实 ”。 


我 们 研究 一 个 现象 ， 是 因为 我 们 相信 我 们 能 够 理解 它 。 后 来 ， 测 量 方 
法 逐渐 被 运用 到 科学 观察 、 解 释 方 法 中 ， 体 现 为 一 种 进行 量化 研究 、 
记录 ， 并 呈现 可 重复 结 采 的 能 力 。 伟 大 的 物理 学 家 开尔文 男 曼 曾 说 
过 :“ 测 量 丈 是 认 知 。 ”这 已 成 为 一 条 至 理 名 言 。 培 根 也 曾 说 过 : “知识 
束 古 力量 。” 同 时 ， 很 多 数学 家 以 及 后 来 的 精算 师 和 会 计 师 都 发 展 了 可 
以 准确 收集 、 记 录 和 管理 数据 的 方法 。 


19 世 纪 ， 科 技 率先 发 展 起 来 的 法 国 开 发 了 一 套 能 准确 计量 时 间 、 空 间 
单位 的 系统 ， 并 逐渐 成 为 其 他 国家 普 笛 采用 的 标准 ， 这 套 系 统 还 为 后 
来 国际 公认 的 测量 条 约 黄 定 了 基础 ， 成 为 测量 时 代 的 题 峰 。 仅 半 个 世 
纪 之 后 ，20 世 纪 20 年 代 ， 量 子 力学 的 发 现 永 远 粉 碎 了 “测量 号 于 至 

善 ” 的 幻梦 。 然 而 ， 在 物理 学 这 个 小 圈子 以 外 的 一 些 测量 工程 师 和 科学 
家 仍 沉 酒 在 完美 测量 的 梦 中 。 随 着 理性 学 科 ， 如 数学 和 统计 学 逐渐 影 
啊 到 了 商业 领域 ， 两 业界 更 加 崇尚 这 种 思想 。 


然而 ， 在 不 断 涌现 的 新 情况 里 ， 人 允许 不 精确 的 出 现 已 经 成 为 一 个 新 的 
腕 后 ， 而 非 缺 点 。 因 为 放松 了 容错 的 标准 ， 人 们 掌握 的 数据 也 多 了 起 
来 ， 还 可 以 利用 这 些 数据 做 更 多 新 的 事情 。 这 样 束 不 是 大 量 数 据 优 于 
少量 数据 那么 稍 单 了 ， 而 是 大 量 数据 创造 了 更 好 的 结果 。 


同时 ， 我 们 需要 与 各 种 各 样 的 混乱 做 斗争 。 混 乱 ， 人 简单 地 说 束 古 随 着 
数据 的 增加 ， 错 误 率 也 会 相应 增加 。 所 以 ， 如 琳 桥 梁 的 压力 数据 量 增 
加 1000 倍 的 话 ， 其 中 的 部 分 读数 束 可 能 是 错误 的 ， 而 且 随 痢 读 数量 的 
增加 ， 和 错误 率 可 能 也 会 继续 增加 。 在 整合 来 源 不 同 的 各 类 信息 的 时 
候 ， 因 为 它们 通 前 不 完全 一 致 ， 所 以 也 会 加 大 混乱 程度 。 例 如 ， 与 服 
务 絮 处 理 投 诉 时 的 数据 进行 比较 ， 用 语 首 识别 系统 识别 某 个 呼叫 中 心 
接 到 的 投诉 会 产生 一 个 不 太 准 确 的 结果 ， 但 也 是 有 助 于 我 们 把 握 整 个 
事情 的 大 致 情况 的 。 


混乱 还 可 以 指 格式 的 不 一 致 性 ， 因 为 要 达到 格式 一 致 ， 就 需要 在 进行 
数据 处 理 之 前 仔细 地 清洗 数据 ， 而 这 在 大 数据 背景 下 很 难 做 到 。“ 大 数 
据 ” 专 家 帕 堤 尔 (D.J.Patil) 指出 ，LB.M.、 工 JWatson Labs ` 


International Business Machines 都 可 以 用 来 指 代 IBM， 甚 至 可 能 有 成 千 
上 万 种 方法 称呼 IBM。 当 然 ， 在 萃取 或 处 理 数据 的 时 候 ， 混 乱 也 会 发 
生 。 因 为 在 进行 数据 转化 的 时 候 ， 我 们 是 在 把 它 变 成 另外 的 事物 。 比 
如 ， 我 们 在 对 Twitter 的 信息 进行 情感 分 析 来 预测 好 莱 坞 票房 的 时 候 ， 
就 会 出 现 一 定 的 混乱 。 其 实 ， 混 乱 的 起 源 和 类 型 本 来 束 是 一 团 乱 据 。 


假设 你 要 测量 一 个 葡萄 园 的 温度 ， 但 是 整个 葡萄 园 只 有 一 个 温度 测量 
仪 ， 那 你 焉 必须 确 你 这 个 测量 仪 是 狂 确 的 而 且 能 够 一 直 工 作 。 反 过 


来 ， 


pam 
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确 的 结 有 末 。 因 为 这 里 面包 含 了 更 多 的 数据 ， 而 它 不 仅 能 抵消 掉 错 误 数 


据 造成 的 影响 ， 


还 能 提供 更 多 的 额外 价值 


现在 想 想 增加 读数 频率 的 这 个 事情 。 如 有 每 隅 一 分 钟 吏 测量 一 下 温 
度 ， 我 们 至 少 还 能 够 保证 测量 结果 古 按 照 时 间 有 序 排列 的 。 如 有 果 变 成 
每 分 钟 测量 十 次 甚至 百 次 的 话 ， 不 仪 读数 可 能 出 错 ， 连 时 间 先 后 都 可 
能 搞 混 挥 。 试 想 ， 如 果 信 息 在 网 络 中 流动 ， 那 么 一 条 记 杂 很 可 能 在 传 
输 过 程 中 被 延迟 ， 在 其 到 达 的 时 候 已 经 没有 意义 了 ， 甚 至 干脆 在 奔涌 
的 信息 洪流 中 彻底 迷失 。 虽 然 我 们 得 到 的 信息 不 再 那么 准确 ， 但 收集 
到 的 数量 庞大 的 信息 让 我 们 放弃 严格 精确 的 选择 变 得 更 为 划算 。 


在 第 一 个 例子 里 ， 我 们 为 了 获得 更 广泛 的 数据 而 牺牲 了 精确 性 ， 也 因 
此 看 到 了 很 多 如 若 不 然 无 法 被 关注 到 的 细 了 。 在 第 二 个 例子 里 ， 我 们 


为 了 高 频率 而 放弃 了 精确 性 ， 结 采 观 察 到 了 一 些 本 可 能 被 错过 的 变 
化 。 虽 然 如 果 我 们 能 够 下 足够 多 的 工夫 ， 这 些 错误 是 可 以 避免 的 ， 但 


在 很 多 情况 下 ， 
区 对 由 


为 了 扩大 规模 ， 


与 致力 于 避免 错误 相 比 ， 对 错误 的 包容 会 带 给 我 们 更 


我 们 接受 适量 错误 的 存在 。 正 如 技术 咨询 公司 


Forrester 所 认为 的 ， 有 了 时 得 到 2 加 2 约 等 于 3.9 的 结 采 ， 也 很 不 错 了 。 当 
然 ， 数 据 不 可 能 完全 错误 ， 但 为 了 了 解 大 致 的 发 展 趋势 ， 我 们 怕 意 对 
精确 性 做 出 一 些 让 步 。 


大 数据 洞察 


“大 数据 ?通常 用 


要 习惯 这 种 思 双 


概率 说 话 ， 而 不 是 板 痢 “ 确 首 无 疑 ” 的 面孔 。 整 个 社会 


全 需要 很 长 的 时 间 ， 其 中 也 会 出 现 一 些 问题 。 但 现在 ， 
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我 们 可 以 在 大 量 数据 对 计算 机 其 他 领域 进步 的 重要 性 上 看 到 类 似 的 变 
化 。 我 们 都 知道 ， 如 摩尔 定律 所 预测 的 ， 过 去 一 段 时 间 里 计算 机 的 数 
据 处 理 能 力 得 到 了 很 大 的 提高 。 摩 尔 定律 认为 ， 每 块 必 斤 上 唱 体 管 的 
数量 每 两 年 就 会 翻 一 售 。 这 使 得 电脑 运行 更 快 束 了 ， 存 储 空间 更 大 

了 。 大 家 没有 意识 到 的 是 ， 红 动 各 类 系统 的 算法 也 进步 了 一 一 美国 总 
统 科技 顾问 委员 会 的 报告 显示 ， 在 很 多 领域 这 些 算 法 市 来 的 进步 还 要 
胜 过 芯片 的 进步 。 然 而 ， 社 会 从 “大 数据 ”中 所 能 得 到 的 ， 并 非 来 目 运 
行 更 快 的 芯片 或 更 好 的 算法 ， 而 十 更 多 的 数据 。 


SRA SU Ae, Be FoR Re, TEAL EH, Re 
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得 更 好 了 ， 屿 而 之 所 以 能 做 到 这 一 点 也 只 是 因为 往 系 统 里 加 入 了 更 多 
的 数据 。 实 际 上 ， 当 棋盘 上 只 剩 下 六 枚 棋子 或 更 少 的 时 候 ， 这 个 残局 
得 到 了 全 面 的 分 析 ， 并 且 接 下 来 所 有 可 能 的 走 法 〈 样 本 = 总 体 ) 部 被 
制 入 了 一 个 庞大 的 数据 表格 所 。 这 个 数据 表格 如 果 不 压 缩 的 话 ， 会 有 
一 太 字 太 那 么 多 。 所 以 ， 计 算 机 在 这 些 重要 的 象棋 残局 中 表现 得 完美 
无 帆 和 不 可 战胜 。 


大 数据 在 多 大 程度 上 优 于 算法 这 个 问题 在 自然 语言 处 理 上 表现 得 很 明 
E (这 是 关于 计算 机 如 何 学 习 和 领悟 我 们 在 日 常生 活 中 使 用 语言 的 学 
科 方 向 ) 。 在 2000 年 的 时 候 ， 微 软 研 究 中 心 的 米 葡 尔 : 班 科 (Michele 
Banko) 和 埃 里 克 : 布 里 尔 (Eric Bill) 一 直 在 寻求 改进 Word 程 序 中 语法 
检查 的 方法 。 但 是 他 们 不 能 确定 是 努力 改进 现 有 的 算法 、 人 研发 新 的 方 
法 ， 还 是 添加 更 加 细 肛 精致 的 特点 更 有 效 。 所 以 ， 在 实施 这 些 措 施 之 
前 ， 他 们 决定 往 现 有 的 算法 中 添加 更 多 的 数据 ， 看 看 会 有 什么 不 同 的 
变化 。 很 多 对 计算 机 学 习 算 法 的 研究 都 建立 在 百 万 字 左 右 的 语料库 基 
础 上 。 最 后 ， 他 们 决定 往 4 种 常见 的 算法 中 逐渐 添加 数据 ， 先 是 一 千 万 
字 ， 再 到 一 亿 字 ， 最 后 到 十 亿 。 


结 有 末 有 点 令 人 吃惊 。 他 们 发 现 ， 随 着 数据 的 增多 ，4 种 算法 的 表现 都 大 


幅 提 高 


大 数据 的 力量 


当 数 据 只 有 500 万 的 时 候 ， 有 一 种 简单 的 算法 表现 得 很 差 ， 但 当 数 据 达 
10 亿 的 时 候 ， 它 变 成 了 表现 最 好 的 ， 准 确 率 从 原来 的 75% 提 高 到 了 
95% 以 上 。 与 之 相反 地 ， 在 少量 数据 情况 下 运行 得 最 好 的 算法 ， 当 加 
入 更 多 的 数据 时 ， 也 会 像 其 他 的 算法 一 样 有 所 提高 ， 但 是 却 变 成 了 在 
大 量 数 据 条 件 下 运行 得 最 不 好 的 。 它 的 准确 率 会 从 86% 提 高 到 94% © 


后 来 ， 班 科 和 布 里 尔 在 他 们 发 表 的 研究 论文 中 写 到 , “如 此 一 来 ， 我 们 
人 
车 ` o” 


大 数据 的 简单 算法 比 小 数据 的 复杂 算法 更 有 效 


所 以 ， 数 据 多 比 少 好 ， 更 多 数据 比 算法 系统 更 智能 还 要 重要 。 那 么 ， 
混乱 呢 ? 在 班 科 和 布 里 尔 开 始 研 究 数 据 几 年 后 ， 微 软 的 最 大 苋 争 对 
手 ， 合 歌 ， 也 开始 更 大 规模 地 对 这 些 问题 进行 探讨 。 合 歌 用 的 是 上 万 
亿 的 语料库 ， 而 不 古 十 亿 的 。 合 歌 做 这 类 全 究 不 古 因为 语法 检查 ， 而 
征 为 了 解决 翻译 这 个 更 环 手 的 难题 。 


20 世 纪 40 年 代 ， 电 脑 由 真空 管制 成 ， 要 占据 整个 房间 这 么 大 的 空间 。 
而 机 妖 翻 译 也 只 是 计算 机 开发 人 员 的 一 个 想法 。 在 冷战 时 期 ， 美 国 掌 
握 了 大 量 关 于 苏联 的 各 种 资料 ， 但 缺少 翻译 这 些 资 料 的 人 手 。 所 以 ， 
计算 机 翻译 也 成 了 吏 须 解决 的 问题 。 


最 初 ， 计 算 机 研发 人 员 打算 将 语法 规则 和 双语 词典 结合 在 一 起 。1954 
年 ，IBM 以 计算 机 中 的 250 个 词语 和 六 条 语法 规则 为 基础 ， 将 60 个 俄语 
词组 翻译 成 了 英语 ， 结 果 据 奋 人 心 。IBM 701 通 过 穿孔 卡片 读 取 了 “Mi 
pyeryedayem mislyi posryedstvom ryechyi” 这 人 句 话 ， 并 且 将 其 译 成 了 “我 
们 通过 语言 来 交流 思想 ”。 在 庆祝 这 个 成 就 的 发 布 会 上 ， 一 篇 报道 就 有 
提 到 ， 这 60 句 话 翻译 得 很 流畅 。 这 个 程序 的 指挥 官 利 昂 .多 斯 特 尔 特 
p Dostert) 表示 ， 他 相信 “在 三 五 年 后 ， 机 需 翻 译 将 会 变 得 很 成 
FA” © 
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译 的 研究 人 员 意 识 到 ， 翻 译 比 他 们 想象 的 更 困难 ， 他 们 不 得 不 承认 目 
己 的 失败 。 机 需 翻 译 不 能 只 是 让 电脑 熟悉 常用 规则 ， 还 必须 教会 电脑 
处 理 特 殊 的 语言 情况 。 毕 竟 ， 翻 译 不 仅仅 只 是 记忆 和 复述 ， 也 涉及 选 
词 ， 而 明确 地 教会 电脑 这 些 非常 不 现实 。 法 语 中 的 “bonjour” 束 一 定 
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事实 上 都 有 可 能 一 一 这 需要 视 情况 而 定 。 


在 20 世 纪 80 年 代 后 期 ,IBM 的 人 研发 人 员 提 出 了 一 个 新 的 想法 。 与 单纯 
教 给 计算 机 语言 规则 和 词汇 相 比 ， 他 们 试图 让 计算 机 上 自己 估算 一 个 词 
或 一 个 词组 适合 于 用 来 翻译 另 一 种 语言 中 的 一 个 词 和 词组 的 可 能 性 ， 
然后 再 决定 某 个 词 和 词组 在 另 一 种 语言 中 的 对 等 词 和 词组 。 


20 世 纪 90 年 代 ，IBM 这 个 名 为 Candide 的 项 目 花 费 了 大 概 十 年 的 时 间 ， 

将 大 约 有 300 万 句 之 多 的 加 拿 大 议会 资料 译 成 了 英语 和 法 语 并 出 版 。 由 
于 是 冒 方 文件 ， 翻 译 的 标准 整 非常 蜗 。 用 那个 时 候 的 标准 来 看 ， 数 据 
量 非 常 之 庞大 。 统 计 机 器 学 习 从 诞生 之 日 起 ， 就 聪明 地 把 翻译 的 挑战 
变 成 了 一 个 数学 问题 ， 而 这 似乎 很 有 效 ! 计算 机 翻译 能 力 在 短 时 间 内 
台所 高 了 很 多 。 然 而 ， 在 这 次 飞跃 之 后 ，IBM 公 司 尽 管 投 入 了 很 多 资 
金 ， 但 取得 的 成 效 不 大 。 最 终 ，IBM 公 司 集 止 了 这 个 项 目 。 


大 数据 先锋 
无 所 不 包 的 合 歌 翻译 系统 


2006 年 ， 谷 歌 公 司 也 开始 涉足 机 需 翻 译 。 这 被 当 作 实现 “收集 全 世界 的 
数据 货源 ， 并 让 人 人 都 可 孚 受 这 些 质 源 ” 这 个 目标 的 一 个 步骤 。 谷 歌 翻 
译 开 始 利 用 一 个 更 大 更 楷 杂 的 数据 库 ， 也 束 是 全 球 的 互联 网 ， 而 不 再 
只 利用 两 种 语言 之 间 的 文本 翻译 。 


合 歌 翻译 系统 为 了 训练 计算 机 ， 会 吸收 它 能 找到 的 所 有 翻译 。 它 会 从 
-种 各 样 语言 的 公司 网 站 上 寻找 对 译文 档 ， 还 会 去 寻找 联合 国 和 欧盟 
这 些 国际 组 织 发 布 的 官方 文件 和 报告 的 译本 。 它 甚至 会 吸收 速 读 项 目 
中 的 书籍 翻译 。 合 凡 RE ET A R BBE BASF (Franz Och) 是 机 器 

翻译 界 的 权威 ， 他 指出 ， 合 歌 的 翻译 系统 不 会 像 Candide 一 样 只 是 仔 

细 地 翻译 300 万 句 话 ， 它 会 掌握 用 不 同 语 言 翻译 的 质量 参差 不 齐 的 数 十 

ee 0 ”不 考虑 翻译 质量 的 话 ， 上 万 亿 的 语料库 就 相当 于 950 亿 
口 英语 Š 


尽管 其 输入 源 很 混乱 ， 但 较 其 他 翻译 系统 而 言 ， 合 歌 的 翻译 质量 相对 
而 言 还 是 最 好 的 ， 而 且 可 翻译 的 内 容 更 多 。 到 2012 年 年 中 ， 谷 歌 数据 
库 涵 盖 了 60 多 种 语言 ， 甚 至 能 够 接受 14 种 语言 的 语音 输入 ， 并 有 很 流 
利 的 对 等 翻译 。 之 所 以 能 做 到 这 些 ， 是 因为 它 将 语言 视 为 能 够 判别 可 


能 性 的 数据 ， 而 不 是 语言 本 身 。 如 果 要 将 印度 语 译 成 加 泰 罗 尼 亚 语 
谷歌 就 会 把 英语 作为 中 介 语言 。 因 为 在 翻译 的 时 候 它 能 适当 增 减 记 
汇 ， 所 以 谷歌 的 翻译 比 其 他 系统 的 翻译 灵活 很 多 。 


谷歌 的 翻译 之 所 以 更 好 并 不 是 因为 它 拥有 一 个 更 好 的 算法 机 制 。 和 微 
软 的 班 科 和 布 里 尔 一 样 ， 这 是 因为 谷歌 翻译 增加 了 很 多 各 种 各 样 的 数 
据 。 从 谷歌 的 例 了 于 来 看 ， 它 之 所 以 能 比 IBM 的 Candide 系 统 多 利用 成 干 
上 万 的 数据 ， 是 因为 它 接受 了 有 错误 的 数据 。2006 年 ， 谷 歌 发 布 的 上 
万 亿 的 语料库 ， 融 是 来 目 于 互联 网 的 一 些 废弃 内 容 。 这 天 是 “训练 
集 ”， 可 以 正确 地 推算 出 英语 词汇 搭配 在 一 起 的 可 能 性 。 


20 世 纪 60 年 代 ， 拥 有 百 万 英语 单词 的 语料库 一 一 布衣 语料库 算得 上 这 
个 领域 的 开创 者 ， 而 如 今 谷 歌 的 这 个 语料库 则 是 一 个 质 的 突破 ， 后 者 
使 用 庞大 的 数据 库 使 得 目 然 语 言 处 理 这 一 方向 取得 了 飞跃 式 的 发 展 。 
目 然 语言 处 理 能 力 是 语音 识别 系统 和 计算 机 翻译 的 基础 。 


彼得 : 诺 维 格 (Peter Norvig) ， 人 谷歌 公司 人 工 智能 方面 的 专家 ， 和 他 的 
同事 在 一 篇 题 为 《数据 的 非 理 性 效果 》 (The Unreasonable 
Effectiveness of Data ) 的 文章 中 写 道 , “大 数据 基础 上 的 简单 算法 比 小 
数据 基础 上 的 复杂 算法 更 加 有 效 。” 他 们 就 指出 ， 混 杂 是 关键 。 


“从 某 种 意义 上 ， 合 歌 的 语料库 是 布衣 语料库 的 一 个 退步 。 因 为 谷歌 语 
料 库 的 内 容 来 目 于 未 经 过 滤 的 网 页 内 容 ， 所 以 会 包含 一 些 不 完整 的 句 
子 、 拼 写 错误 、 语 法 错误 以 及 其 他 各 种 错误 。 况 且 ， 它 也 没有 详细 的 
人 工 纠 错 后 的 注解 。 但 是 ， 合 歌 语料库 是 布衣 语料库 的 好 几 百 万 倍 
大 ， 这 样 的 优势 完全 压倒 了 缺点 。” 


纷繁 的 数据 越 多 越 好 


传统 的 样本 分 析 师 们 很 难 容 忍 错 误 数 据 的 存在 ， 因 为 他 们 一 生 都 在 研 
完 如 何 防止 和 避免 错误 的 出 现 。 在 收集 样本 的 时 候 ， 统 计 学 家 会 用 一 
整套 的 策略 来 减少 错误 发 生 的 概率 。 在 结果 公布 之 前 ， 他 们 也 会 测试 
样本 是 否 存 在 潜在 的 系统 性 偏 半 。 这 些 集 上 略 包括 根据 协议 或 通过 受过 
专门 训练 的 专家 来 采集 样本 。 但 是 ， 即 使 只 是 少量 的 数据 ， 这 些 规避 
错误 的 策略 实施 起 来 还 是 耗费 巨大 。 尤 其 古 当 我 们 收集 所 有 数据 的 时 
候 ， 这 束 行 不 通 了 。 不 仅 古 因为 耗费 巨大 ， 还 因为 在 大 规模 的 基础 上 
保持 数据 收集 标准 的 一 致 性 不 太 现 实 。 束 算是 不 让 人 们 进行 沟通 争 
吵 ， 也 不 能 解决 这 个 问题 。 


RAT CRETE ERIS © 如 果 将 传统 的 思维 模式 
运用 于 数 子 化、 网 络 化 的 21 世 纪 ， 丈 会 错过 重要 的 信息 。 执 迷 于 精确 
性 十 信息 缺乏 时 代 和 模拟 时 代 的 产物 。 在 那个 信息 贫乏 的 时 代 ， 任 总 
一 个 数据 点 的 测量 情况 都 对 结果 至 关 重 要 。 所 以 ， 我 们 需要 确保 每 个 
数据 的 精确 性 ， 才 不 会 导致 分 析 结 采 的 偏差 。 


大 数据 洞察 


如 今 ， 我 们 已 经 生活 在 信息 时 代 。 我 们 掌握 的 数据 库 越 来 越 全 面 ， 它 
不 再 只 包括 我 们 手头 现象 的 一 AAAH RATAR, 而 是 包括 了 与 这 些 现 
象 相关 的 大 量 其 至 全 部 数据 。 我 们 不 再 需要 那么 担心 菜 个 数据 点 对 束 
套 分 析 的 不 利 影响 。 我 们 要 做 的 束 是 要 接受 这 些 纷繁 的 数据 并 从 中 受 
蔓 ， 而 不 是 以 高 昂 的 代价 消除 所 有 的 不 确定 性 。 


在 华盛顿 州 布 莱恩 市 的 英国 石油 公司 (BP) 切 里 波 因 特 (Cherry 

Point) ERA) 里 ， FLIER a A TES TY 形成 无 形 的 网 络 ， 能 
够 产生 大 量 实时 数据 。 酷 热 的 恶劣 环境 和 电气 设备 的 存在 有 时 会 对 感 
应 絮 读 数 有 所 影响 ， 形 成 错误 的 数据 。 但 是 数据 生成 的 数量 之 多 可 以 
弥补 这 些小 错误 。 随 时 监测 管道 的 承 压 使 得 BP 能 够 了 解 到 ， 有 些 种 类 
0 la 以 前 ， 这 都 是 无 法 发 现 也 无 法 防止 


有 了 时候 ， 当 我 们 掌握 了 大 量 新 型 数据 时 ， 精 确 性 束 不 那么 重要 了 ， 我 
们 同样 可 以 掌握 事情 的 发 展 趋势 。 大 数据 不 仅 让 我 们 不 再 期 待 精 确 
性 ， 也 让 我 们 无 法 实现 精确 性 。 然而 ， 除 了 一 开始 会 与 我 们 的 直觉 相 
元 慎之 外 ， 接 受 数 据 的 不 精确 和 不 完美 ， 我 们 反而 能 够 更 好 地 进行 预 
测 ， 也 能 够 更 好 地 理解 这 个 世界 。 


值得 注意 的 是 ， 锁 误 性 并 不 是 六 数据 本 号 回 有 的 。 它 只 和 是 我 们 用 来 测 
量 、 记 录 和 交流 数据 的 工具 的 一 个 缺陷 。 meee eee 
RT, AAPA NS ET ° Bee a 
性 ， 而 是 一 个 或 需 我 们 去 处 理 的 现实 问题 ， 并 且 有 可 能 长 期 存在 。 
为 拥有 更 大 数据 量 所 能 之 来 的 商业 利益 远 远 超 过 增加 一 点 精确 性 ， 所 
以 通 营 我 们 不 会 再 化 大 力气 去 提升 数据 的 精确 性 。 这 又 古 一 个 关注 焦 
点 的 转变 ， 正 如 以 前 ， 统 计 学 家 们 总 是 把 他 们 的 兴趣 放 在 提高 样本 的 
随机 性 而 不 是 数量 上 。 如 今 ， 大 数据 给 我 们 带 来 的 利益 ， 让 我 们 能 够 
接受 不 精确 的 存在 了 。 


大 数据 先锋 
矿 省 理工 与 通货 紧缩 预测 软件 


“10 亿 价格 项 目 ”(The Billion Prices Project, BBP) 提供 了 一 个 有 趣 的 
例子 。 美 国 劳 工 统 计 局 的 人 员 每 个 月 都 要 公布 消费 物价 指数 

(CPI) ， 这 是 用 来 测试 通货 膨胀 率 的 。 这 些 数据 对 投资 者 和 商家 都 
非常 重要 。 在 决定 是 否 增 减 银行 利率 的 时 候 ， 美 联储 也 会 考虑 消费 指 
数 。 一 旦 发 生 通 货 膨 胀 ， 工 人 工资 也 会 增加 。 联 邦 政府 在 文 付 社会 福 
利和 债券 利 姑 的 球 项 时 ， 这 项 指数 也 是 他 们 参考 的 依据 。 


联邦 政府 为 了 得 到 这 些 数据 ， 会 雇用 很 多 人 癌 全 美 90 个 城市 的 商店 、 
办 公 室 打 电 话 、 发 传真 甚至 登门 拜访 。 他 们 反馈 回来 的 各 种 各 样 的 价 
格 信 息 达 80000 种 ， 包 括 土豆 的 价格 、 出 租车 的 票 价 等 。 政 府 采 集 这 些 
数据 每 年 大 概 需 要 人 花费 两 亿 五 千 万 美元 。 这 些 数据 是 精确 的 也 是 有 序 
的 ， 但 是 这 个 采集 结果 的 公布 会 有 几 周 的 清 后 。2008 年 的 经 济 危 机 表 
明 ， 这 个 涨 后 十 致 命 的 。 政 策 决策 者 为 了 更 好 地 应 对 变化 ， 需 要 及 时 
了 解 通货 膨胀 率 ， 但 如 果 以 传统 的 依赖 采样 和 追求 精确 的 方式 进行 数 
据 收 集 ， 政 府 束 不 可 能 及 时 获得 数据 了 。 


MELZ (MIT) 的 两 位 经 济 学 家 ， 阿 尔 贝 托 . 卡 瓦 略 (Alberto 
Cavell) 和 有 罗 伯 托 :里 哥 本 (Oberto Rigobon) 就 对 此 提出 了 一 个 大 数据 
方案 ， 那 就 是 接受 更 混乱 的 数据 。 通 过 一 个 软件 在 互联 网 上 收集 信 
妃 ， 他 们 每 天 可 以 收集 到 50 万 种 商品 的 价格 。 收 集 到 的 数据 很 混乱 ， 
也 不 是 所 有 数据 都 能 轻易 进行 比较 。 但 是 把 大 数据 和 好 的 分 析 法 相 结 
合 ， 这 个 项 目 在 2008 年 9 月 雷 曼 兄弟 破产 之 后 马上 了 束 发 现 了 通货 紧缩 趋 
势 ， 然 而 那些 依赖 官方 数据 的 人 直到 11 月 份 才 知道 这 个 情况 。 锯 


MIT 的 这 个 项 目 汇 集 了 数 百 万 的 产品 ， 写 们 被 数 百 个 零售 商 卖 到 了 70 
多 个 国家 。 这 个 项 目 产 生 的 一 个 名 为 PriceStats 的 商业 方案 也 经 常 被 一 
些 银行 和 其 他 经 济 决策 人 用 到 。 当 然 ， 收 集 到 的 数据 需要 仔细 的 分 
析 ， 而 且 这 些 数 据 更 善于 表明 价格 的 发 展 趋势 而 不 是 精确 的 价格 。 但 
征 因 为 PriceStats 收 集 到 了 更 多 的 价格 信息 而 且 大 多 二 即时 的 ， 所 以 这 
对 决策 者 来 说 号 非 第 有 益 了 。 


混杂 性 ， 不 是 竭力 避免 ， 而 是 标准 途径 


Obi, TIPS RAS Sh, BOT ae] Po) EAR o RiR 
看 看 内 容 分 类 方面 的 情况 。 几 个 世纪 以 来 ， 人 们 一 直 用 分 类 法 和 索引 
法 来 帮助 目 己 存 储 和 检索 数据 换 源 。 这 样 的 分 级 系统 通 闻 都 不 完善 
ARAA WERB EFA ERARI TERI E EIE? 
在 “小 数据 ?范围 内 ， 这 些 方法 束 很 有 效 ， 但 一 旦 把 数据 规模 增加 好 几 
PAER, EMS BS MA ARS BATE o 


相片 分 享 网 站 Flickr 在 2011 年 拥有 来 和 目 大 概 1 亿 用 户 的 60 亿 张 照片 。 根 
据 预 完 设 定好 的 分 类 来 标注 每 张 照片 就 没有 意义 了 。 难 道真 会 有 人 为 
他 的 照片 取 名 “ 像 希 特 勒 一 样 的 猫 * 吗 ? 


恰恰 相反 ， 清 楚 的 分 类 被 更 混乱 却 更 灵活 的 机 制 所 取代 了 。 这 些 机 制 
才能 适应 改变 着 的 世界 。 当 我 们 上 传 照片 到 Flickr 网 站 的 时 候 ， 我 们 会 
给 照片 添加 标签 。 也 束 是 说 ， 我 们 会 使 用 一 组 文本 标签 来 编组 和 搜索 
这 些 资 源 。 和 人 们 用 目 己 的 方式 创造 和 使 用 标 答 ， 所 以 它 是 没有 标准 、 
没有 预 完 设 定 的 排列 和 分 类 ， 也 没有 我 们 必须 遵守 的 类 别 的 。 任 何人 
都 可 以 输入 新 的 标签 ， 标 签 内 容 事 实 上 束 成 为 了 网 络 资源 的 分 类 标 
准 。 标 签 被 广泛 地 应 用 于 Facebook、 博 客 等 社交 网 络 上 。 因 为 它们 的 
存在 ， 互 联网 上 的 资源 变 得 更 加 容易 找到 ， 特 别 是 像 图 片 、 视 频 和 音 
乐 这 些 无 法 用 关键 词 搜索 的 非 文 本 类 资产。 


当然 ， 有 时 人 们 钳 标 的 标签 会 导致 货源 编组 的 不 准确 ， 这 会 让 习惯 了 
精确 性 的 人 们 很 痛苦 。 但 是 ， 我 们 用 来 编组 照片 集 的 视 乱 方法 给 我 们 
市 来 了 很 多 好 处 。 比 如 ， 我 们 拥有 了 更 加 丰富 的 标签 内 容 ， 同 时 能 更 
深 更 广 地 获得 各 种 照片 。 我 们 可 以 通过 合并 多 个 搜索 标签 来 过 滤 我 们 
需要 寻找 的 照 斤 ， 这 在 以 前 是 无 法 完成 的 。 我 们 添加 标签 时 所 固 市 的 
不 准确 性 从 某 种 意义 上 说 明 我 们 能 够 接受 世界 的 纷繁 复 淋 。 这 是 对 更 
加 精确 系统 的 一 种 对 抗 。 这 些 精 确 的 系统 试图 让 我 们 接受 一 个 世界 贫 
之 而 规整 的 惨 象 一 一 假 泛 世间 万 物 都 症 整 齐 地 排列 的 。 而 事实 上 现实 
征 纷 楷 复杂 的 ， 天 地 间 存 在 的 事物 也 远 远 多 于 系统 所 设想 的 。 


互联 网 上 最 火 的 网 址 都 表明 ， 它 们 欣赏 不 精确 而 不 会 假装 精确 。 当 一 
个 人 在 网 站 上 见 到 一 个 Facebook 的 “喜欢 ?按钮 时 ， 可 以 看 到 有 多 少 其 
他 人 也 在 点 击 。 当 数量 不 多 时 ， 会 显示 像 “63” 这 种 精确 的 数字 。 当 数 
量 很 大 时 ， 则 只 会 显示 近似 值 ， 比 方 说 “4000”。 这 并 不 代表 系统 不 知 
道 正 确 的 数据 是 多 少 ， 只 是 当 数 量规 模 变 大 的 时 候 ， 确 切 的 数量 已 经 
不 那么 重要 了 。 另外 ， 数 据 更 新 得 非常 快 ， 甚 至 在 刚刚 显示 出 来 的 时 
候 可 能 就 已 经 过 时 了 。 所 以 ， 同 样 的 原理 适用 于 时 间 的 显示 。 合 歌 的 


Gmail 邮箱 会 确切 标注 在 很 短 时 间 内 收 到 的 信件 ， 比 方 说 “11 分 钟 之 
前 ”。 但 是 ， 对 于 已 经 收 到 一 段 时 间 的 信件 ， 则 会 标注 如 “两 个 小 时 之 
前 ”这 种 不 太 确 切 的 时 间 信 息 。 


2000 年 以 来 ， 商 务 智能 和 分 析 软 件 领域 的 技术 供应 商 们 一 直 承 诡 给 客 
户 * 一 个 唯一 的 真理 ”。 执 行 官 们 用 这 个 词组 并 没有 讽刺 的 意思 ， 现 在 
也 依然 有 技术 供应 商 这 样 说 。 他 们 说 这 个 词组 的 意思 束 是 ， 每 个 使 用 
该 公司 信息 技术 系统 的 人 都 能 利用 同样 的 数据 资源 ， 这 样 市 场 部 和 营 
FARA Busi Ae RESUS MaRS ie, BREEDS T E 
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的 ， 那 么 他 们 的 利益 也 会 更 一 致 。 


但 是 , “一 个 唯一 的 真理 ”这 种 想法 已 经 彻底 被 改变 了 。 现 在 不 但 出 现 
了 一 种 者 的 认识 ， 即 “一 个 唯一 的 真理 ?的 存在 是 不 可 能 的 ， 而 且 追 求 
这 个 唯一 的 真理 是 对 注意 力 的 分 散 。 要 想 获得 大 规模 数据 带 来 的 好 
处 ， 混 乱 应 该 是 一 种 标准 途径 ， 而 不 应 该 是 竭力 避免 的 。 


我 们 甚至 发 现 ， 不 精确 已 经 渗入 了 数据 库 设 计 这 个 最 不 能 容 妨 错误 的 
领域 。 传 统 的 数据 库 引 擎 要 求 数据 高 度 精 确 和 准确 排列 。 数 据 不 是 单 
纯 地 被 存储 ， 它 往往 被 划分 为 包 售 “ 域 " 的 记录 ， 每 个 域 都 包含 了 特定 
种 类 和 特定 长 度 的 信息 。 比 方 说 ， 某 个 数值 域 是 7 个 数字 长 ， 一 个 1000 
万 或 者 更 大 的 数值 就 无 法 税 记 录 。 一 个 人 想 在 某 个 记录 手机 号 码 的 域 
中 输入 一 串 汉字 是 “不 被 允许 ”的 。 想 要 被 多 许 也 可 以 ， 需 要 改变 数据 
库 结构 才 可 以 。 现 在 ， 我 们 依然 在 和 电脑 以 及 智能 手机 上 的 这 些 限制 
进行 斗争 ， 比 如 软件 可 能 拒绝 记录 我 们 输入 的 数据 。 


索引 是 事先 就 设 定好 了 的 ， 这 也 束 限 制 了 人 们 的 搜索 。 增 加 一 个 新 的 
索引 往往 既 消 耗 时 间 ， 又 荐 人 讨论 ， 因 为 需要 改变 故 层 的 设计 。 传 统 
的 关系 数据 库 是 为 数据 稀缺 的 时 代 设 计 的 ， 所 以 能 够 也 需要 仔细 寅 
划 。 在 那个 时 代 ， 人 们 遇 到 的 问题 无 比 清晰 ， 所 以 数据 库 被 设计 用 来 
有 效 地 回答 这 些 问 题 。 


但 是 ， 这 种 数据 存储 和 分 析 的 方法 越 来 越 和 现实 相 冲 突 。 我 们 现在 拥 
有 各 种 各 样 、 参 老 不 齐 的 海量 数据 。 很 少 有 数据 完全 符合 预先 设 定 的 
数据 种 类 。 而 且 ， 我 们 想 要 数据 回答 的 问题 ， 也 只 有 在 我 们 收集 和 处 
理 数据 的 过 程 中 才 会 知道 。 


新 的 数据 库 设计 的 诞生 


这 些 现实 条 件 导致 了 新 的 数据 库 设计 的 诞生 ， 它 们 打破 了 关于 记录 和 
预 设 场 域 的 成 规 。 预 设 场 域 显示 的 是 数据 的 整齐 排列 。 最 普遍 的 数据 
库 查 询 语言 是 结构 化 查询 语言 ， 英 文 缩写 为 *SQL” 一 它 的 名 字 就 显 
示 了 它 的 僵化 。 但 是 ， 近 年 的 大 转变 就 是 非 关系 型 数据 库 的 出 现 ， 它 
不 需要 预先 设 定 记录 结构 ， 允 许 处 理 超 大 量 五 花 八 门 的 数据 。 因 为 包 
容 了 结构 多 样 性 ， 这 些 数据 库 设计 就 要 求 更 多 的 处 理 和 存储 资源 。 但 
是 ， 一 旦 考虑 到 大 大 降低 的 存储 和 处 理 成 本 ， 这 就 是 一 个 我 们 支付 得 
起 的 公平 交易 。 


帕 特 - 赫 兰 德 (Pat Helland) 是 来 自 微 软 的 世界 上 最 权威 的 数据 库 设计 
专家 之 一 ， 在 一 篇 题 为 《如 果 你 有 足够 多 的 数据 ， 那 么 < 足 人 够 好 ” 真 的 
足够 好 》 (If You Have Too Much Data , then ‘Good Enough ’Is Good 
Enough) 的 文章 中 ， 他 把 这 称 为 一 个 重大 的 转变 。 分 析 了 被 各 种 各 样 
质量 参差 不 齐 的 数据 所 侵蚀 的 传统 数据 库 设 计 的 核心 原则 ， 他 得 出 的 
结论 是 ,“ 我 们 再 也 不 能 假装 活 在 一 个 齐整 的 世界 里 *。 他 认为 ,处理 
海量 数据 会 不 可 避免 地 导致 部 分 信息 的 缺失 。 虽 然 这 本 来 束 是 有 “损耗 
性 ”的 ， 但 是 能 快速 得 到 想 要 的 结果 弥补 了 这 个 缺陷 。 赫 兰 德 总 结 
“ 略 有 环 普 的 答案 并 不 会 伤 了 商家 的 胃口 ， 因 为 他 们 更 看 重 高 频 


传统 数据 库 的 设计 要 求 在 不 同 的 时 间 提 供 一 致 的 结果 。 比 方 说 ， 如 有 果 
你 查询 你 的 账户 结余 ， 它 会 提供 给 你 确切 的 数目 ， 而 你 几 秒 钟 之 后 得 
询 的 时 候 ， 系 统 应 该 提供 给 你 同样 的 结 末 ， 没 有 任何 改变 。 但 征 ， 随 
者 数据 数量 的 六 幅 增加 以 及 系统 用 户 的 增加 ， 这 种 一 致 性 将 越 来 越 难 


保持 


大 的 数据 库 并 不 是 固定 在 某 个 地 方 的 ， 它 一 般 分 散在 多 个 硬盘 和 多 台 
电脑 上 。 为 了 确保 其 运行 的 稳定 性 和 速度 ， 一 个 记录 可 能 会 分 开 存储 
在 两 三 个 地 方 。 如 果 一 个 地 方 的 记录 更 新 了 ， 其 他 地 方 的 记录 则 只 
同步 更 新 才 不 会 产生 错误 。 传 统 的 系统 会 一 直 等 到 所 有 地 方 的 记录 都 
更 新 ， 人 然而 ， 当 数据 广 沁 地 分 布 在 多 台 服 务 器 上 而 且 服 务 占 每 秒 钟 都 
会 接受 成 二 上 万 条 搜索 指令 的 时 候 ， 同 步 更 新 整 比较 不 现实 了 。 因 
此 ， 多 样 性 是 一 种 解决 的 方法 。 


大 数据 先锋 


Hadoop 与 VISA 的 13 分 钟 


最 能 代表 这 个 转变 的 ， 就 是 Hadoop 的 流行 。Hadoop 是 与 谷歌 的 
MapReduce 系 统 相对 应 的 开源 式 分 布 系统 的 基础 架构 ， 它 非常 善于 处 
理 超大 量 的 数据 。 通 过 把 大 数据 变 成 小 模块 然后 分 配给 其 他 机 器 进行 
分 析 ， 它 实现 了 对 超大 量 数据 的 处 理 。 它 预 设 硬 件 可 能 会 瘫痪 ， 所 以 
在 内 部 建立 了 数据 的 副本 ， 它 还 假定 数据 量 之 大 导致 数据 在 处 理 之 前 
不 可 能 整齐 排列 。 典 型 的 数据 分 析 需 要 经 过 “ 某 取 、 转 移 和 下 载 " 这 样 
一 个 操作 流程 ， 但 是 Hadoop 束 不 拘泥 于 这 样 的 方式 。 相 反 ， 它 假定 了 
i” 巨大 使 得 数据 完全 无 法 移动 ， 所 以 人 们 必须 在 本 地 进行 数据 
AT 


Hadoop 的 输出 结 采 没有 关系 型 数据 库 输 出 结 采 那么 精确 ， 它 不 能 用 于 
卫星 发 射 、 开 具 银 行 账户 明细 这 种 精确 度 要 求 很 高 的 任务 。 但 是 对 于 
不 要 求 极 端 精确 的 任务 ， 它 环比 其 他 系统 运行 得 快 很 多 ， 比 如 说 把 顾 
客 分 群 ， 然 后 分 别 进行 不 同 的 膏 销 活动 。 


信用 卡 公司 VISA 使 用 Hadoop， 能 够 将 处 理 两 年 内 730 亿 单 交 易 所 需 的 
时 间 ， 从 一 个 月 缩减 至 仅仅 13 分 钟 。 这 样 大 规模 处 理 时 间 上 的 缩减 足 
以 变革 商业 了 。 也 许 Hadoop 不 适合 正规 记 账 ， 但 是 当 可 以 允许 少量 错 
误 的 时 候 它 就 非常 实用 。 


ZestFinance， 一 个 由 谷歌 前 任 首 席 信 息 官 道格拉斯 梅里 尔 创 立 的 公 
司 ， 用 目 己 的 经 验 再 次 验证 了 “宽容 错误 会 给 我 们 市 来 更 多 价值 ”这 一 
观点 。 这 家 公司 帮助 决策 者 判断 是 否 应 该 回 某 些 拥有 不 恨 信 用 记录 的 
人 提供 小 额 短 期 贷款 。 传 统 的 信用 评分 机 制 关 注 少 量 突出 的 事件 ， 比 
如 一 次 还 款 的 延迟 ， 而 ZestFinance 则 分 析 了 大 量 不 那么 突出 的 事件 。 
2012 年 ， 让 ZestFinance 引 以 为 豪 的 就 是 ， 它 的 贷款 拖欠 率 比 行业 平均 
水 平 要 低 三 分 之 一 左右 。 唯 一 的 得 胜 之 道 还 是 拥抱 混杂 。 


梅里 尔 说 : “有趣 的 是 ， 对 我 们 而 言 ， 基 本 没有 任何 一 个 人 的 信息 是 齐 
备 的 ， 事 实 上 ， 总 有 大 量 的 数据 缺失 。” 由 ZestFinance 创 建 的 用 来 记录 
客户 信息 的 矩阵 是 难以 想象 得 稀 芒 ， 里 面 充 满 了 数据 的 空洞 ， 但 
ZestFinance 在 这 些 文 离 破碎 的 数据 中 如 鱼 得 水 。 举 个 例子 ， 有 10% 的 
客户 属性 信息 显示 “已 经 死亡 ”， 但 是 依然 可 以 从 他 们 号 上 收回 贷款 。 
梅里 尔 一 脸 坏 笑 地 说 :“ 显 然 ， 没 有 人 会 企盼 僵 刻 复活 并 且 主 动 还 贷 。 
但 是 我 们 的 数据 显示 ， 放 贷 给 僵尸 是 一 项 不 错 的 生意 。” 


接受 混乱 ， 我 们 融 能 孚 受 极 其 有 用 的 服务 ， 这 些 服务 如 宁 使 用 传统 方 
法 和 工具 十 不 可 能 做 到 的 ， 因 为 那些 方法 和 工具 处 理 不 了 这 么 大 规模 


的 数据 。 

大 数据 的 力量 
据 佑 计 ， 只 有 5% 的 数字 数据 是 结构 化 的 且 能 适用 于 传统 数据 库 。 如 5 
不 接受 混乱 ， 剩 下 95% 的 非 结构 化 数据 都 无 法 被 利用 ， 比 如 网 页 和 视 
频 资源 。 通 过 接受 不 精确 性 ， 我 们 打开 了 一 个 从 未 涉足 的 世界 的 窗 


o 


/出 


社会 将 两 个 折 中 的 想法 不 知 不 觉 地 渗入 了 我 们 的 处 事 方法 中 ， 我 们 其 
至 不 再 把 这 当成 一 种 折 中 ， 而 征 把 它 当 成 了 事物 的 目 然 状 态 。 


第 一 个 折 中 是 ， 我 们 默认 目 己 不 能 使 用 更 多 的 数据 ， 所 以 我 们 就 不 会 
去 使 用 更 多 的 数据 。 但 是 ， 数 据 量 的 限制 正在 逐渐 消失 ， 而 且 通 过 无 
限 接近 “样本 = 总 体 ” 的 方式 来 处 理 数据 ， 我 们 会 获得 极 大 的 好 处 。 


第 二 个 折 中 出 现在 数据 的 质量 上 。 在 小 数据 时 代 ， 追 求 精确 度 是 合理 
的 。 因 为 当时 我 们 收集 的 数据 很 少 ， 所 以 需要 越 精确 越 好 。 如 今 这 依 
然 适 用 于 一 些 事情 。 但 是 对 于 其 他 事情 ， 快 速 获得 一 个 大 概 的 轮廓 和 
发 展 脉络 ， 束 要 比 疗 格 的 精确 性 要 重要 得 多 。 


大 数据 洞察 


我 们 怎么 看 每 使 用 所 有 数据 和 使 用 部 分 数据 的 差别 ， 以 及 我 们 怎样 选 
择 放 松 要 求 并 取代 严格 的 精确 性 ， 将 会 对 我 们 与 世界 的 沟通 产生 深刻 
的 影响 。 随 着 大 数据 技术 成 为 日 常生 活 中 的 一 部 分 ， 我 们 应 该 开始 从 
一 个 比 以 前 更 大 更 全 面 的 角度 来 理解 事物 ， 也 就 古 说 应 该 将 “样本 = 忌 
体 ” 植 入 我 们 的 思维 中 。 


现在 ， 我 们 能 够 容 恕 模糊 和 不 确定 出 现在 一 些 过 去 依赖 于 清晰 和 精确 
的 领域 ， 当 然 过 去 可 能 也 只 是 有 清晰 的 假象 和 不 完全 的 精确 。 只 要 我 
们 能 够 得 到 一 个 事物 更 完整 的 概念 ， 我 们 就 能 接受 模糊 和 不 确定 的 存 
在 。 殊 像 印 象 派 的 画 风 一 样 ， 近 看 画 中 的 每 一 笔 都 感觉 是 混乱 的 ， 但 
征 退 后 一 步 你 惑 会 发 现 这 年 一 幅 伟 大 的 作品 ， 因 为 你 退 后 一 步 的 时 候 
就 能 看 出 画作 的 整体 思路 了 。 


相 比 依赖 于 小 数据 和 精确 性 的 时 代 ， 大 数据 因为 更 强调 数据 的 完整 性 
和 混 洒 性 ， 帮 助 我 们 进一步 接近 事实 的 真相 。“ 部 分 "和 “确切 ”的 吸引 


力 古 可 以 理解 的 。 但 是 ， 当 我 们 的 视野 局 限 在 我 们 可 以 分 析 和 能 够 确 

定 的 数据 上 时 ， 我 们 对 世界 的 整体 理解 就 可 能 产生 侦 差 和 错误 。 不 仅 

失去 了 去 尽力 收集 一 切 数据 的 动力 ， 也 失去 了 从 各 个 不 同 角度 来 观察 

事物 的 权利 。 所 以 ， 局 限于 狭隘 的 小 数据 中 ， 我 们 可 以 自豪 于 对 精确 

A 也 依然 会 错过 
JE 


大 数据 洞察 


大 数据 有 要求 我 们 有 所 改变 ， 我 们 必须 能 够 接受 混乱 和 不 确定 性 。 精确 
EUP- EERE, MARIE AAEE, WE 
但 认为 每 个 问题 只 有 一 个 答案 的 想法 是 站 不 住 脚 的 ， 不 管 我 们 承 不 承 
Cs 实 甚 至 拥护 这 个 事实 的 话 ， 我 们 离 真相 束 
AIT 
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到 一 切 事情 发 生 背 后 的 原因 。 然 而 其 实 很 多 时 候 ， 寻 找 数 据 间 的 关联 
并 利用 这 种 关联 就 足够 了 。 这 是 我 们 下 一 个 草 节 将 要 讨论 的 。 


[1] 计算 机 象棋 的 残局 的 确 可 以 做 到 完美 ,但 其 挫 枯 拉 朽 的 表现 主要 还 
不 在 于 残局 。 有 训练 的 棋 手 都 能 在 6 个 子 的 情况 下 不 犯错 误 。 这 方面 的 
分 析 和 思索 ， 不 EN R— 一 代 棋 王 加 里 : 卡 斯 帕 罗 夫 (Garry Kasparov) 

的 作品 ， 他 亦 是 对 垒 * 深 蓝 ” 的 棋 王 。 一 一 译 者 注 


[2] 所 有 包含 不 超过 6 子 的 残局 谱 最 早 是 由 Unix 创 造 者 肯 淘 普 森 发 明 
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[3] 特定 的 大 数据 企业 可 以 用 类 似 的 思路 提供 实时 的 指数 ， 例 如 著名 的 
淘宝 消费 物价 指数 (TCPI) ， 其 数据 来 自 于 淘宝 网 内 消费 ， 可 以 做 到 
完全 实时 更 新 。 一 一 译 者 注 


[4 虽然 完全 由 用 户 目 由 添加 ， 标 签 的 形成 和 组 织 也 有 目 身 的 规律 。 好 
的 标签 使 用 习惯 会 禹 助 用 户 更 好 管理 闹 源 ， 也 会 让 用 户 的 照片 、 博 客 

等 受到 更 多 关注 。 相 反 ， 胡 乱 添加 标签 也 会 伤害 自己 。 与 此 同时 ， 标 
签 可 以 帮助 系统 提供 更 好 的 搜索 和 推荐 服务 。 关 于 标签 系统 的 最 新 研 


究 成 采 汇 总 ， 可 以 参考 张 子 柯 等 人 2011 年 在 Journal of Computer 
Science and Technology 上 发 表 的 “Tag-aware recommender systems: A 
state-of-the-art survey” — X ° 译 者 注 


03 更 好 : 不 是 因果 关系 ， 而 是 相关 关系 


知道 “是 什么 ” 束 够 了 ， 没 必要 知道 “为 什么 ”。 在 大 数据 时 代 ， 我 们 不 
必 非 得 知道 现象 背后 的 原因 ， 而 是 要 让 数据 目 己 “发 声 ”。 


【大 数据 先锋 】 
沃尔玛 ， 请 把 蛋 扑 与 飓风 用 品 摆 在 一 起 
FICO,“ 我 们 知道 你 明天 会 做 什么 ” 
美国 折扣 零售 商 塔 言 特 与 怀孕 预测 
UPS 与 汽车 修理 预测 
大 数据 预测 早产 儿 病 情 
驻 福 感 的 非 线 性 关系 
二 手 车 质量 预测 
纽约 大 型 沙井 善 爆炸 预测 

林 登 与 亚马逊 推荐 系统 
1997 年 ，24 岁 的 格雷 格 - 林 登 (Greg Linden) 在 华盛顿 大 学 就 读 博士 ， 
人 研究 人 工党 能 ， 内 上 暇 之 余 ， 他 会 在 网 上 卖 书 。 他 的 网 店 运 营 才 两 年 整 
已 经 生意 兴隆 。 他 回忆 说 : “我 爱问 书 和 知识 ， 帮 助人 们 找到 下 一 个 他 
们 可 能 会 感 兴 趣 的 知识 点 。?” 他 注册 的 这 家 网 店 束 是 日 后 大 获 成 功 的 亚 
马 逮 。 后 来 林 登 被 亚马逊 聘 为 软件 工程 师 ， 以 确保 网 站 的 正常 运行 。 
亚马逊 的 技术 含量 不 仅 体 现在 其 工作 人 员 上 。 昌 然 亚马逊 的 故事 大 多 
数 人 都 耳熟能详 ， 但 只 有 少数 人 知道 它 的 内 容 最 初 是 由 人 工 亲 自 完 成 
的 。 当 时 ， 它 聘请 了 一 个 由 20 多 名 书评 家 和 编辑 组 成 的 团队 ， 他 们 写 
书评 、 推 荐 新 书 ， 挑 选 非常 有 特色 的 新 书 标题 放 在 炎 马 还 的 网 页 上 。 


这 个 团队 创立 了 “ 亚 蕊 还 的 声音 ”这 个 版 块 ， 成 为 当时 公司 这 顶 旦 冠 上 
的 一 颖 宝石 ， 是 其 竞争 优势 的 重要 来 源 。《 华 尔 街 日 报 》 的 一 篇 文章 


an ae 影响 力 的 书评 家 ， 因 为 他 们 使 得 书籍 销量 


A NA (Jeff Bezos) ， 亚 马 逊 公司 的 创始 人 以 及 总 裁 ， 决 定 沦 试 
一 个 极 富 创造 力 的 想法 : 根据 客户 个 人 以 前 的 购物 喜好 ， 为 其 推荐 具 
体 的 书籍 。 从 一 开始 ， 亚 马 逊 已 从 每 一 个 客户 身上 捕获 了 大 量 的 数 

据 。 比 如 说 ， 他 们 购买 了 什么 书籍 ? 哪些 书 他 们 只 浏览 却 没 有 购买 ? 
他 们 浏览 了 多 久 ? 哪些 书 是 他 们 一 起 购买 的 ? 


客户 的 信息 数据 量 非常 大 ， 所 以 亚 马 还 必须 先 用 传统 的 方法 对 其 进行 
处 理 ， 通 过 样本 分 析 找 到 客户 之 间 的 相似 性 。 但 这 些 推荐 信息 是 非常 
原始 的 ， 就 如 同 你 在 波兰 购买 一 本 书 ， 会 被 东欧 其 他 地 区 的 价格 水 平 
搞 得 坚 头 转向 ， 或 者 在 买 一 件 归 儿 用 品 时 ， 会 被 潭 没 在 一 堆 差 不 多 的 
婴儿 用 品 中 一 样 。 往 姆 斯 : 马 库 斯 (James Marcus) 回忆 说 : “推荐 信息 
往往 为 你 提供 与 你 以 前 购买 物品 有 微小 差异 的 产品 ， 并 且 循 环 往 

复 。” 和 詹姆斯 : 马 库 斯 从 1996 年 到 2001 年 都 是 亚马逊 的 书评 家 ， 在 他 的 
se (Lif) (Amazonia) 里 ， 他 说 道 : “和 那 种 感觉 束 像 你 和 一 
群 脑残 在 一 起 逛 书店 。” 


格雷 格 - 林 登 很 快 整 找 到 了 一 个 解决 方案 。 他 意识 到 ， 推 荐 系统 实际 上 
并 没有 必要 把 顾客 与 其 他 顾客 进行 对 比 ， 这 样 做 其 实在 技术 上 也 比较 
烦 开 。 它 需要 做 的 是 找到 产品 之 间 的 关联 性 。1998 年 ， 林 登 和 他 的 同 
事 申 请 了 着 名 的 “item-to-item” 协 同 过 滤 技 术 的 专利 上 。 方 法 的 转变 使 
技术 发 生 了 翻天 禾 地 的 变化 。 


因为 估算 可 以 提前 进行 ， 所 以 推荐 系统 快 如 内 电 ， 而 且 适 用 于 各 种 各 
样 的 产品 。 因 此 ， 当 亚马逊 跨 界 销售 除 书 以 外 的 其 他 商品 时 ， 也 可 以 
对 电影 或 烤 面 包机 这 些 产 品 进行 推 荐 。 由 于 系统 中 使 用 了 所 有 的 数 

据 ， 推 荐 会 更 理想 。 林 登 回忆 道 : “在 组 里 有 句 玩 笑话， 说 的 是 如 果 系 
SN 


现在 ， 公 司 必须 决定 什么 应 该 出 现在 网 站 上 “。 是 亚马逊 内 部 书评 家 写 
的 个 人 建议 和 评论 ， 还 是 由 机 顺 生 成 的 个 性 化 推荐 和 畅销 书 排行 榜 ? 
批评 者 说 了 什么 ， 或 者 是 顾客 的 点 击 意 味 着 什么 ”从 字面 上 来 讲 ， 这 
是 一 场 人 与 鼠标 的 战争 。 


林 登 做 了 一 个 关于 评论 家 所 创造 的 销售 业绩 和 计算 机 生成 内 容 所 产生 
的 销售 业绩 的 对 比 测 试 ， 结 果 他 发 现 两 者 之 间 的 业绩 相差 其 远 。 他 解 
释 说 ， 通 过 数据 推荐 产品 所 增加 的 销售 远 远 超过 书评 家 的 贡献。 计算 
机 可 能 不 知道 为 什么 喜欢 海明威 作品 的 客户 会 购买 菲 次 态 拉 德 的 书 。 
但 是 这 似乎 并 不 重要 ， 重 要 的 是 销量 。 最 后 ， 编 辑 们 看 到 了 销售 额 分 
析 ， 亚 马 逊 也 不 得 不 放弃 每 次 的 在 线 评论 ， 最 终 书 评 组 被 解散 了 。 林 
NCL: “书评 团队 被 打败 、 被 解散 ， 我 感到 非常 难过 。 但 是 ， 数 据 
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统 。 有 了 和 它 ， 亚 马 逊 不 仅 使 很 多 大 型 书店 和 音乐 唱片 商店 鞭 业 ， 而 且 
当地 数 百 个 目 认 为 有 目 己 风格 的 书 商 也 难免 受 转 型 之 风 的 影响 。 事 实 
上 ， 林 登 的 工作 彻 故 改变 了 电子 商务 ， 现 在 几乎 每 个 人 都 在 使 用 电子 


商务 。 


奈 飞 公司 是 一 个 在 线 电影 租赁 公司 ， 它 四 分 之 三 的 新 订单 都 来 自 推荐 
系统 。 在 亚马逊 的 市 领 下 ， 成 和 于 上 万 的 网 站 可 以 推荐 产品 、 内 容 和 朋 
Co ee 但 并 不 知道 为 什么 人 们 会 对 这 些 信 息 感 兴 
Xo 


知道 人 们 为 什么 对 这 些 信息 感 兴趣 可 能 是 有 用 的 ， 但 这 个 问题 目前 并 
不 是 很 重要 。 但 是 ， 知 道 “ 是 什么 ”可 以 创造 点 击 率 ， 这 种 洞察 力 足 以 
重 塑 很 多 行业 ， 不 仅仅 只 是 电子 商务 。 所 有 行业 中 的 销售 人 员 早 就 被 
告知 ， 他 们 和 需要 了 人 解 是 什么 让 客户 做 出 了 选择 ， 要 把 握 客户 做 决定 背 
后 的 真正 原因 ， 因 此 专业 技能 和 多 年 的 经 验 受 到 高 度 重视 。 大 数据 却 
显示 ， 还 有 另外 一 个 在 某 些 方面 更 有 用 的 方法 。 亚 马 进 的 推荐 系统 梳 
理 出 了 有 趣 的 相关 关系 ， 但 不 知道 背后 的 原因 。 知 道 是 什么 就 够 了 ， 
没 必 要 知道 为 什么 。 


关联 物 ， 预 测 的 关键 
在 小 数据 世界 中 ， 相 关 关 系 也 是 有 用 的 ， 但 在 大 数据 的 背景 下 ， 相 关 
关系 大 放 异 彩 。 通 过 应 用 相关 关系 ,我们 可 以 比 以 前 更 容易 、 更 快 
捷 、 更 清楚 地 分 析 事 物 。 


大 数据 洞察 


相关 关系 的 核心 是 量化 两 个 数据 值 之 间 的 数理 关系 。 相 关 关 系 强 是 指 
当 一 个 数据 值 增加 时 ， 男 一 个 数据 值 很 有 可 能 也 会 随 之 增加 。 我 们 已 
经 看 到 过 这 种 很 强 的 相关 关系 ， 比 如 谷歌 流感 趋势 : 在 一 个 特定 的 地 
ANE, 越 多 的 人 通过 合 歌 搜索 特定 的 词 条 ， 该 地 区 就 有 更 多 的 人 患 
TR ° 
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关系 ， 但 会 发 现 它 们 几乎 扯 不 上 什么 关系 。 


相关 关系 通过 识别 有 用 的 关联 物 来 帮助 我 们 分 析 一 个 现象 ， 而 不 是 通 
过 揭示 其 内 部 的 运作 机 制 。 当 然 ， 即 使 是 很 强 的 相关 关系 也 不 一 定 能 
解释 每 一 种 情况 ， 比 如 两 个 事物 看 上 去 行为 相似 ， 但 很 有 可 能 只 是 巧 
合 。 如 实证 学 家 纳西 姆 :尼古拉斯 - 塔 勒 布 (Nassim Nicholas Taleb) 所 
言 ， 我 们 可 能 只 是 “被 随机 性 所 筷 弄 ”而 已 。 相 关 关 系 没有 绝对 ， 只 

可 能 性 。 也 就 是 说 ， 不 是 亚 马 撑 推荐 的 每 本 书 都 是 顾客 想 买 的 书 。 但 
是 ， 如 果 相 关 关 系 强 ， 一 个 相关 链接 成 功 的 概率 是 很 高 的 。 这 一 点 很 
他 们 的 书架 上 有 很 多 书 都 是 因为 亚马逊 推荐 而 购买 


通过 给 我 们 找到 一 个 现象 的 良好 的 关联 物 ， 相 关 关 系 可 以 帮助 我 们 捕 
捉 现 在 和 预测 未 来 。 如 果 A 和 B 经 常 一 起 发 生 ， 我 们 只 需要 注意 到 B 发 
生 了 ， 束 可 以 预测 A 也 发 生 了 。 这 有 助 于 我 们 捕捉 可 能 和 A 一 起 发 生 的 
事情 ， 即 使 我 们 不 能 直接 测量 或 观察 到 A。 更 重要 的 是 ， 它 还 可 以 帮 
助 我 们 预测 未 来 可 能 发 生 什 么 。 当然， 相关 关系 是 无 法 预知 未 来 的 ， 
他 们 只 能 预测 可 能 发 生 的 事情 。 但 是 ， 这 已 经 极其 珍 贯 了 。 


大 数据 先锋 

沃尔玛 ， 请 把 重 执 与 飓风 用 品 授 在 一 起 

沃尔玛 是 世界 上 最 大 的 零售 商 ， 拥 有 超过 200 万 的 员工 ， 销 售 额 约 4500 
亿美 元 ， 比 大 多 数 国家 的 国内 生产 总 值 还 多 。 在 网 络 冲 来 巨 多 数据 之 

前 ,沃尔玛 在 美国 企业 中 拥有 的 数据 资源 应 该 是 最 多 的 。 鱼 

在 20 世 纪 90 年 代 ， 和 零售 链 通 过 把 每 一 个 产品 记录 为 数据 而 彻底 改变 了 


FEITA ° 沃尔玛 可 以 让 供应 商 监控 销售 速率 、 数 量 以 及 存货 的 情 
况 。 沃 尔 玛 通过 打造 透明 度 来 迫使 供应 丙 照 顾 好 目 己 的 物流 。 在 许多 


情况 下 ， 沃 尔 玛 不 接受 产品 的 “所有权”， 除 非 产 品 已 经 开始 销售 ， 这 
样 束 避免 了 存货 的 风险 也 降低 了 成 本 。 实 际 上 ， 沃 尔 玛 运 用 这 些 数 据 
使 其 成 为 了 世界 上 最 大 的 “寄售 店 ”。 


倘 知 得 到 正确 分 析 ， 历 史 数 据 能 够 解释 什么 呢 ? 零售 商 与 天 蹇 资讯 

(Teradata) 专业 的 数字 统计 员 一 起 研究 发 现 了 有 趣 的 相关 关系 。 

2004 年 ， 沃 尔 玛 对 历史 交易 记录 这 个 庞大 的 数据 库 进 行 了 观察 ， 这 个 
数据 库 记 录 的 不 仪 包括 每 一 个 顾客 的 购物 清单 以 及 消费 额 ， 还 包括 购 
物 得 中 的 物品 、 有 具体 购买 时 间 ， 甚 至 购买 当日 的 天 气 。 


次 尔 玛 公 司 注意 到 ， 每 当 在 季 方 性 确 风 来 临 之 前 ， 不 仅 手 电 简 销售 量 
增加 了 ， 而 且 POP-Tarts 蛋 拓 (美式 含 糖 早餐 和 零食) 的 销量 也 增加 了 。 
因此 ， 当 季 太 性 风 骏 来 临时 ， 沃 尔 玛 会 把 库存 的 蛋 氛 放 在 靠近 古风 用 
品 的 位 置 ， 以 方便 行 色 匆 匆 的 顾客 从 而 增加 销量 。 


过 去 ， 总 部 的 人 员 们 需要 先 有 了 和 想法， 然后 才能 收集 数据 来 测试 这 个 

想法 的 可 行 性 。 如 今 ， 我 们 有 了 如 此 之 多 的 数据 和 更 好 的 工具 ， 所 以 
要 找到 相关 系 变 得 更 快 、 更 容易 了 。 这 了 吏 意 味 痢 我 们 必须 关注 : SRL 

据点 以 数量 级 方式 增长 的 时 候 ， 我 们 会 观察 到 许多 似是而非 的 相关 天 
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在 大 数据 时 代 来 临 前 很 信 ， 相 关 关 系 束 已 经 被 证 明 大 有 用 途 。 这 个 观 
点 是 1888 年 查尔斯 达尔文 的 表 弟 弗朗西斯 高 尔 顿 茵 士 (Francis 
Galton) 提出 的 ， 因 为 他 注意 到 人 的 号 高 和 前 臂 的 长 度 有 关系 。 相 关 
关系 至 后 的 数学 计算 是 直接 而 义 有 活力 的 ， 这 是 相关 关系 的 本 质 特 
征 ， 也 古 让 相关 关系 成 为 最 广 沁 应 用 的 统计 计量 方法 的 原因 。 但 是 在 
大 数据 时 代 之 前 ， 相 关 关 系 的 应 用 很 少 。 因 为 数据 很 少 而 且 收 集 数 据 
很 费时 费力 ， 所 以 统计 学 家 们 喜欢 找到 一 个 关联 物 ， 然 后 收集 与 之 相 
天 的 数据 进行 相关 关系 分 析 来 评测 这 个 关联 物 的 优 务 。 那 么 ， 如 何 寻 
找 这 个 关联 物 呢 ? 


除了 仅仅 依靠 相关 关系 ， 专 家 们 还 会 使 用 一 些 建立 在 理论 基础 上 的 假 
想来 指导 目 己 选择 适当 的 关联 物 。 这 些 理论 残 是 一 些 抽象 的 观点 ， 关 
于 事物 是 怎样 运作 的 。 然 后 收集 与 关联 物 相 关 的 数据 来 进行 相关 关系 
分 析 ， 以 证 明 这 个 关联 物 是 否 真 的 合适 。 如 采 不 合适 ， 人 们 通 单 会 固 
执 地 再 次 莹 试 ， 因 为 担心 可 能 是 数据 收集 的 错误 ， 而 最 终 却 不 得 不 承 
认 一 开始 的 假想 甚至 假想 建立 的 基础 都 征 有 缺陷 和 必须 修改 的 。 这 种 


对 假想 的 反复 试验 促进 了 学 科 的 发 展 。 但 是 这 种 发 展 非常 绥 慢 ， 因 为 
ees 导致 我 们 在 设立 假想 、 应 用 
假想 和 选择 关联 物 的 过 程 中 犯错 误 。 ， 这 是 一 个 烦琐 的 过 程 ， 只 
适用 于 小 数据 时 代 。 


在 大 数据 时 代 ， 通 过 建立 在 人 的 偏见 基础 上 的 关联 物 监测 法 已 经 不 再 
可 行 ， 因 为 数据 库 太 大 而 且 需 要 考虑 的 领域 太 复 杂 。 斑 运 的 是 ， 许 多 
迫使 我 们 选择 假想 分 析 法 的 限制 条 件 也 逐渐 消失 了 。 我 们 现在 拥有 如 
此 多 的 数据 ， 这 么 好 的 机 器 计算 能 力 ， 因 而 不 再 需要 人 工 选 择 一 个 关 
联 物 或 者 一 小 部 分 相似 数据 来 逐一 分 析 了 。 复杂 的 机 辟 分 析 能 为 我 们 
辨认 出 谁 是 最 好 的 代理 ， 就 像 在 谷歌 流感 趋势 中 ， 计 算 机 把 检索 词 条 
ee 准确 地 找 出 了 哪些 是 与 流感 传播 最 
日 天 的 词 条 。 


我 们 理解 世界 不 再 需要 建立 在 假设 的 基础 上 ， 这 个 假设 是 指针 对 现象 
建立 的 有 天 其 产生 机 制 和 内 在 机 理 的 假设 。 因 此 ， 我 们 也 不 需要 建立 
这 样 一 个 假设 ， 关 于 哪些 词 条 可 以 表示 流感 在 何 时 何 地 传播 ; 我们 不 
需要 了 解 航 至 公司 怎样 给 机 票 定价 ; 我们 不 需要 知道 沃尔玛 的 顾客 的 
亮 饪 喜好 。 取 而 代 之 的 是 ， 我 们 可 以 对 大 数据 进行 相关 关系 分 析 ， 从 
而 知道 哪些 检索 词 条 是 最 能 显示 流感 的 传播 的 ， 飞机 票 的 价格 是 否 会 
飞涨 ， 哪 些 食物 十 飓风 期 间 每 在 家 里 的 人 最 想 吃 的 。 我 们 用 数据 驱动 
的 关于 大 数据 的 相关 关系 分 析 法 ， 取 代 了 基于 假想 的 易 出 错 的 方法 。 
大 数据 的 相关 关系 分 析 法 更 准确 、 更 快 ， 而 且 不 易 受 偏见 的 影响 。 


建立 在 相关 关系 分 析 法 基础 上 的 预测 是 大 数据 的 核心 。 这 种 预测 发 生 
的 频率 非常 高 ， 以 至 于 我 们 经 常 忽略 了 它 的 创新 性 。 当 然 ， 它 的 应 用 
会 越 来 越 多 。 


大 数据 先锋 
FICO,“ 我 们 知道 你 明天 会 做 什么 ” 


一 个 人 的 信用 常 被 用 来 预测 他 /她 的 个 人 行为 。 美 国 个 人 消费 信用 评估 
公司 ， 也 被 称 为 FICO， 在 20 世 纪 50 年 代 发 明了 信用 分 。 2011 年 ，FICO 
提出 了 “遵从 医嘱 评分 EAM ee 
FZZ, FF HAEREA 点 怪异 的 变 ee 一 个 人 在 某 地 
居住 了 多 久 ， 这 个 人 结婚 了 没有 ， 他 多 Ai 个 工作 以 及 他 是 否 有 私 
家 车 。 这 个 评分 会 帮助 医疗 机 构 节 省 开支 ， 因为 它 它们 会 知道 哪些 人 需 


要 得 到 它们 的 用 药 提 醒 。 有 私家 车 和 使 用 抗生素 并 没有 因 采 关系 ， 这 
只 是 一 种 相关 关系 。 但 是 这 就 足够 油 发 FICO 的 首 局 执行 官 扬 言 ,， “我 
们 知道 你 明天 会 做 什么 。” 这 是 他 在 2011 年 的 投资 人 大 会 上 说 的 。 


另 一 个 征 信 机 构 ， 益 百 利 (Experian) 有 一 种 服务 ， 可 以 根据 个 人 的 
信用 卡 交 易 记录 预测 个 人 的 收入 情况 。 通 过 分 析 公 司 拥有 的 信用 卡 历 
Be) Ee EA 


大 数据 的 力量 


证 明 一 个 人 的 收入 状况 要 花费 10 美 元 左右 ， 但 是 益 百 利 的 预测 结果 售 
价 不 足 1 美元 。 


所 以 有 时 候 ， 通 过 代理 取得 数据 信息 比 目 己 去 操作 烦琐 的 程序 要 便宜 
得 多 。 同 时 还 有 另 一 个 征 信 机 构 出 售 “ 文 付 能 力 指数 "和 “可 文 配 文 出 指 
数 "， 这 些 指数 是 用 来 预测 一 个 人 的 文 付 能 力 的 。 


相关 关系 的 运用 更 加 广泛 了 “。 中 英 人 寿 保 险 有 限 公 司 (Aviva) 是 一 家 
大 型 保险 公司 ， 他 们 想 利 用 信用 报告 和 顾客 市 场 分 析 数 据 来 作为 部 分 
申请 人 的 血液 和 尿 液 分 析 的 关联 物 。 这 些 分析 结 果 个 用 来 找 出 更 有 可 
能 患 高 血压 、 糖 尿 病 和 抑郁 症 的 人 。 其 中 用 来 分 析 的 数据 包括 好 几 百 
种 生活 万 式 的 数据 ， 比 如 安 好 、 第 浏览 的 网 疡 、 第 看 的 届 目 、 收 入 全 
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健康 隐患 。 其 他 保险 公司 如 英国 保 诚 保险 有 限 公 司 (Prudentia) 和 美 
国 国际 集团 (AIG) 都 承认 它们 也 在 考虑 类 似 的 方法 。 好 处 束 是 ， 申 
请 者 个 再 需要 所 供血 液 和 尿 液 样本 了 ， 因 为 大 家 都 个 太 襄 欢 做 这 个 事 


博 
大 数据 的 力量 

通过 利用 相关 关系 ， 保 险 公 司 可 以 在 每 人 身上 节省 125 类 元 ， 然 而 这 个 
纯 数据 分 析 法 只 需要 伦 费 5 类 元 。 
有 些 人 可 能 会 觉得 这 种 方法 听 起 来 很 恕 怖 ， 这 些 公司 似乎 可 以 利用 任 
何 网 络 上 的 信息 。 这 会 让 人 们 下 次 登陆 极限 运动 网 站 和 坐 到 电视 机 前 
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让 我 们 在 接触 任何 信息 的 时 候 〈 同 时 也 产生 可 能 被 分 析 的 数据 ) 都 胆 
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人 得 到 保险 ， 这 对 于 社会 和 保险 公司 都 是 有 好 处 的 。 


大 数据 先锋 
美国 折扣 零售 商 增 吉 特 与 怀孕 预测 


大 数据 相关 关系 分 析 的 极致 ， 非 美国 折扣 零售 商 塔 吉 特 (Target) RJR 
了 “。 该 公司 使 用 大 数据 的 相关 关系 分 析 已 经 有 多 年 。 《纽约 时 报 》 的 
记者 查尔斯 杜 西 格 (Charles Duhigg) 就 在 一 份 报 道中 曾 述 了 塔 吉 特 
公司 怎样 在 完全 不 和 准 妈妈 对 话 的 前 提 下 预测 一 个 女性 会 在 什么 时 候 
怀孕 。 基 本 上 来 说 ， 束 是 收集 一 个 人 可 以 收集 到 的 所 有 数据 ， 然 后 通 
过 相关 关系 分 析 得 出 事情 的 真实 状况 。 


对 于 零售 商 来 说 ， 知 道 一 个 顾客 是 否 怀 孕 是 非常 重要 的 。 因 为 这 是 一 
对 夫妻 改变 消费 观念 的 开始 ， 也 是 一 对 夫妻 生活 的 分 水 岭 。 他 们 会 开 
始 光 顾 以 前 不 会 去 的 商店 ， 渐 渐 对 新 的 品牌 建立 处 诚 。 塔 吉 特 公司 的 
市 场 专员 们 回 分 析 部 求助 ， 看 是 否 有 什么 办 法 能 够 通过 一 个 人 的 购物 
方式 发 现 她 是 否 怀 孕 。 


公司 的 分 析 团 队 首先 查看 了 签署 婴儿 礼物 登记 德 的 女性 的 消费 记录 。 
塔 吉 特 公司 注意 到 ， 登 记 德 上 的 妇女 会 在 怀孕 大 概 第 三 个 月 的 时 候 买 
很 多 无 香 乳 液 。 几 个 月 之 后 ， 她 们 会 买 一 些 营养 品 ， 比 如 镁 、 钙 、 

锌 。 公 司 最 终 找 出 了 大 概 20 多 种 关联 物 ， 这 些 关联 物 可 以 给 顾客 进 

行 “怀孕 趋势 * 评 分 。 这 些 相关 关系 甚至 使 得 零售 商 能 够 比较 准确 地 预 
测 预产期 ， 这 样 就 能 够 在 孕期 的 每 个 阶段 给 客户 寄 送 相应 的 优惠 券 ， 
这 才 是 塔 吉 特 公司 的 目的 。 


杜 西 格 在 《习惯 的 力量 》 (The Power of Habit) 一 书 中 讲 到 了 接 下 来 
发 生 的 事情 。 一 天 ， 一 个 男人 剖 进 了 一 家 位 于 明 尼 阿 波 利 斯 市 郊 的 塔 

吉 特 商店 ， 要 求 经 理 出 来 见 他 。 他 气愤 地 说 :“ 我 女儿 还 是 高 中 生 ， 你 
们 却 给 她 邮寄 砚 儿 服 和 婴儿 床 的 优惠 券 ， 你 们 是 在 鼓励 她 怀孕 吗 ? ”而 
当 几 天 后 ， 经 理 打 电话 同 这 个 男人 致 笋 时 ， 这 个 男人 的 语气 变 得 平和 

起 来 。 他 说 :“ 我 跟 我 的 女儿 谈 过 了 ， 她 的 预产期 是 8 月 份 ， 是 我 完全 

没有 意识 到 这 个 事情 的 发 生 ， 应 该 说 抱 菊 的 人 是 我 。” 


在 社会 环境 下 寻找 关联 物 只 是 大 数据 分 析 法 采取 的 一 种 方式 。 同 样 有 
用 的 一 种 方法 是 ， 通 过 找 出 新 种 类 数据 之 间 的 相互 联系 来 解决 日 常 需 
要 。 比方 说 ， 一 种 称 为 预测 分 析 法 的 方法 就 被 广泛 地 应 用 于 商业 领 
域 ， 它 可 以 预测 事件 的 发 生 。 这 可 以 指 一 个 能 发 现 可 能 的 流行 歌曲 的 
算法 系统 一 一 音乐 弄 广 泛 采 用 这 种 方法 来 确 傈 它们 看 好 的 歌曲 真 的 会 
流行 ， 也 可 以 指 那 些 用 来 防止 机 器 失效 和 建筑 倒塌 的 方法 。 现 在 ， 在 
机 器 、 发 动机 和 桥梁 等 基础 设施 上 放置 传感器 变 得 越 来 越 平 弟 了 ， 这 
些 传 感 右 个 用 来 记 杂 散发 的 热量 、 振 幅 、 承 压 和 发 出 的 声 首 等 。 


一 个 东西 要 出 故障 ， 不 会 是 瞬间 的 ， 而 是 慢 慢 地 出 问题 的 。 通 过 收集 
所 有 的 数据 ， 我 们 可 以 预 完 捕 捉 到 事物 要 出 故障 的 信号 ， 比 方 说 发 动 
机 的 喻 喻 声 、3 引 擎 过 热 都 说 明 它 们 可 能 要 出 故障 了 。 系 统 把 这 些 异 第 
情况 与 正常 情况 进行 对 比 ， 就 会 知道 什么 地 方 出 了 毛病 。 通 过 尽早 地 
发 现 异 党 ， 系 统 可 以 提醒 我 们 在 故障 之 前 更 换 零 件 或 者 修复 问题 。 通 
过 找 出 一 个 关联 物 并 监控 它 ， 我 们 就 能 预测 未 来 。 


大 数据 先锋 
UPS 与 汽车 修理 预测 


UPS 国 际 快递 公司 从 2000 年 束 开 始 使 用 预测 性 分 析 来 监测 目 己 全 美 
60000 辆 车 规模 的 车 队 ， 这 样 就 能 及 时 地 进行 防御 性 的 修理 。 如 果 车 在 
路 上 抛锚 损失 会 非常 大 ， 因 为 那样 就 需要 再 派 一 辆 车 ， 会 造成 延误 和 
再 装载 的 负担 ， 并 消耗 大 量 的 人 力 物 力 ， 所 以 以 前 UPS 每 两 三 年 就 会 
对 车 辆 的 零件 进行 定时 更 换 。 但 这 种 方法 不 太 有 效 ， 因 为 有 的 零件 并 
没有 什么 毛病 就 被 换 掉 了 “。 通 过 监测 车 辆 的 各 个 部 位 ，UPS 如 今 只 需 
要 更 换 需 要 更 换 的 零件 ， 从 而 节省 了 好 几 百 万 美元 。 有 一 次 ， 监 测 系 
统 其 至 帮助 UPS 发 现 了 一 个 新 车 的 一 个 零件 有 问题 ， 因 此 免除 了 可 能 
会 造成 的 困扰 。 


无 独 有 贫 ， 桥 梁 和 建筑 物 上 也 被 安 狼 了 传 感 融 来 监测 磨损 程度 。 大 型 
化 工厂 和 提炼 三 也 安装 了 传感器 ， 因 为 一 旦 设备 的 某 一 个 零件 有 问 
题 ， 就 只 有 在 更 换 了 零件 之 后 生产 才能 继续 进行 。 收 集 和 分 析 数 据 的 
花费 比 出 现 停产 的 损失 小 得 多 。 预测 性 分 析 并 不 能 解释 故障 可 能 会 发 
生 的 原因 ， 只 会 告诉 你 存在 什么 问题 ， 也 束 说 它 并 不 能 告诉 你 引 敬 过 
REANA, MEA MU Ri? BTA MRI? 没有 答案 。 
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各 种 管线 同时 得 到 大 量 的 数据 。 心 电 图 每 秒 钟 就 能 产生 1000 个 读数 。 
但 是 只 有 部 分 的 数据 是 被 保存 使 用 的 ， 大 部 分 都 束 之 高 风 了， 即使 这 
些 数 据 都 能 在 一 定 程度 上 表现 出 病人 的 情况 。 当 与 其 他 病人 的 数据 一 
起 考虑 的 时 候 ， 它 们 融 能 显现 出 哪些 治疗 方法 是 有 效 的 。 


当 收 集 、 存 储 和 分 析 数 据 的 成 本 比较 高 的 时 候 ， 应 该 适当 地 丢弃 一 些 
数据 。 安大略 理 工大 学 的 卡 罗 琳 . 麦 格雷 戈 (Carolyn McGregor) 博士 
和 一 文 饶 究 队伍 与 BM 一 起 和 很 多 医院 合作 ， 用 一 个 软件 来 监测 处 理 
即时 的 病人 信息 ， 然 后 把 它 用 于 早产 儿 的 病情 诊断 。 系 统 会 监控 16 个 
不 同 地 方 的 数据 ， 比 如 心率 、 呼 吸 、 体 瘟 、 血 压 和 血 氧 含量 ， 这 些 数 
据 可 以 达到 每 秒 钟 1260 个 数据 点 之 多 。 


在 明显 感染 症状 出 现 的 24 小 时 之 前 ， 系 统 束 能 监测 到 早产 儿 细 微 的 刁 
体 变 化 发 出 的 感染 信号 。 麦 格雷 戈 博士 说 :“ 你 无 法 用 肉眼 看 到 ,但 计 
算 机 可 以 看 到 。” 这 个 系统 依赖 的 是 相关 关系 ， 而 不 是 因果 关系 。 它 告 
诉 你 的 是 会 发 生 什 么 ， 而 不 是 为 什么 发 生 。 这 正 是 这 个 系统 的 价值 ! 

提早 知道 病情 ， 医 生 束 能 够 提早 治疗 ， 也 能 更 早 地 知道 某 种 疗法 是 否 
有 效 ， 这 一 切 都 有 利于 病人 的 康复 。 所 以 ， 未 来 这 个 系统 估计 会 应 用 
到 所 有 病人 身上 。 这 个 系统 可 能 不 会 目 己 做 决定 ， 但 是 它 已 经 做 到 了 
机 器 能 做 到 的 最 好 ， 那 整 古 帮助 人 类 做 到 最 好 。 


惊人 的 十 ， 麦 格雷 七 博士 的 大 数据 分 析 法 能 发 现 一 些 与 医生 的 传统 看 
法 相 违 背 的 相关 关系 。 比 如 说 她 发 现 ， 稳 定 的 生命 体征 表明 病人 发 生 
了 严重 的 感染 。 这 很 奇怪 ， 因 为 医生 一 般 认 为 恶化 的 疼痛 才 是 全 面 感 
染 的 征兆 。 你 可 以 想象 ， 以 前 医生 都 是 下 班 的 时 候 看 看 婴儿 床 沈 边 的 
记录 本 ， 觉 得 病情 稳定 了 ， 也 束 下 班 回 家 了。 只 有 半夜 护士 的 紧急 电 
话 才 让 他 们 知道 大 事 不 好 了 ， 他 们 的 直觉 犯 了 大 错误 。 数 据 表明 ， 早 
产儿 的 稳定 不 但 不 是 病情 好 转 的 标志 ， 反 而 是 暴风 雨 前 的 宁静 ， 就 像 
是 身体 要 它 的 器 官 做 好 抵抗 困难 的 准备 。 但 是 我 们 也 不 太 确定 ， 我 们 
不 知道 具体 原因 ， 只 是 看 到 了 相关 关系 。 这 需要 海量 的 数据 并 且 找 出 
a ee a neal ee 
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“是 什么 "， 而 不 是 “为 什么 * 


在 小 数据 时 代 ， 相 关 关 系 分 析 和 因果 分 析 都 不 容易 ， 都 耗费 巨大 ， 痢 
要 从 建立 假设 开始 。 然 后 我 们 会 进行 实验 一 一 这 个 假设 要 么 被 证 实 要 


么 被 推翻 。 但 由 于 两 者 都 始 于 假设 ， 这 些 分 析 束 都 有 受 偏见 影响 的 可 
能 ， 而 且 极 易 导 致 错误 。 与 此 同时 ， 用 来 做 相关 关系 分 析 的 数据 很 难 
得 到 ， 收 集 这 些 数据 时 也 耗资 巨大 。 现 今 ， 可 用 的 数据 如 此 之 多 ， 也 
就 不 存在 这 些 难题 了 。 


当然 ， 还 有 一 种 不 同 的 情况 也 逐渐 受到 了 人 们 的 重视 。 在 小 数据 时 

代 ， 由 于 计算 机 能 力 的 不 足 ， 大 部 分 相关 关系 分 析 仅 限于 寻求 线性 天 
系 。 这 个 情况 随 着 数据 的 增加 肯定 会 发 生 改变 。 事 实 上 ， 实 际 情况 远 
比 我 们 所 想象 的 要 复杂 。 经 过 复杂 的 分 析 ， 我 们 能 够 发 现 数据 的 “ 非 线 


A 


大 数据 先锋 
幸福 的 非 线 性 关系 


多 年 来 ， 经 济 学 家 和 政治 家 一 直 错误 地 认为 收入 水 平和 泣 福 感 是 成 正 
比 的 。 我 们 从 数据 图 表 上 可 以 看 到 ， 虽 然 统计 工具 呈现 的 是 一 种 线性 
关系 ， 但 事实 上 ， 它 们 之 间 存 在 一 种 更 复杂 的 动态 关系 : 对 于 收入 水 
平 在 1 万 美元 以 下 的 人 来 说 ， 一 旦 收入 增加 ， 幸 福 感 会 随 之 提升 ; 但 对 
于 收入 水 平 在 1 万 美元 以 上 的 人 来 说 ， 笠 福 感 并 不 会 随 着 收入 水 平 提高 
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征 统 计 工 具 分 析出 来 的 直线 。 


这 个 发 现 对 决策 者 来 说 非常 重要 。 如 有 末 只 看 到 线性 关系 的 话 ， 那 么 政 
策 重心 应 完全 放 在 增加 收入 上 ， 因为 这 样 才能 增加 全 民 的 幸 昼 感 。 而 
一 旦 察觉 到 这 种 非 线 性 关系 ， 寅 略 的 重心 束 会 变 成 提高 低 收入 人 群 的 
收入 水 平 ， 因 为 这 样 明显 更 划算 。 


当 相关 关系 变 得 更 复杂 时 ， 一 切 束 更 混乱 了 。 OU, KEMA re He 
种 率 的 差别 与 人 们 在 医疗 保健 上 的 花费 似乎 有 关联 。 但 是 ， 最 近 哈 佛 
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BZ, MARERE, 但 令 人 惊讶 的 是 ， 当 增加 到 一 定 
程度 时 ， 这 种 老 别 又 会 变 大 。 发 现 这 种 关系 对 公共 卫生 官员 来 说 非常 
重要 ， 但 十 普通 的 线性 关系 分 析 师 是 无 法 捕 提 到 这 个 重要 信息 的 。 


如 今 ， 专 家 们 正在 人 研发 发现 并 对 比分 析 非 线性 关系 的 必 娄 技术 工具 
外。 一 系列 飞速 发 展 的 新 技术 和 新 软 件 也 从 多 方面 提高 了 相关 关系 分 


析 工 具 发 现 非 因 采 关 系 的 能 力 ， 这 束 好 比 立体 派 画家 同时 从 多 个 角度 
来 表现 女性 脸庞 的 手法 。 


网 络 分 析 行 业 的 出 现 丈 是 一 个 最 明显 的 例子 。 多 亏 了 它 ， 让 描绘 、 测 
量 、 计 算 各 市 点 之 间 的 天 系 变 成 了 可 能 ， 我 们 可 以 从 Facebook 上 认识 
更 多 的 朋友 ， 还 可 以 知道 法 庭 上 的 一 些 判 决 的 先例 ， 以 及 谁 给 谁 打 了 
电话 。 总 之 ， 这 些 工 具 为 回答 非 因果 关系 及 经 验 性 的 问题 提供 了 新 的 
途径 


在 大 数据 时 代 ， 这 些 新 的 分 析 工 具 和 思路 为 我 们 提供 了 一 系列 新 的 视 
野 和 有 用 的 预测 ， 我 们 看 到 了 很 多 以 前 不 曾 注意 到 的 联系 ， 还 掌握 了 
以 前 无 法 理解 的 复杂 技术 和 社会 动态 。 但 最 重要 的 是 ， 通 过 去 探求 “是 
什么 ”而 不 是 “为 什么 >， 相 关 关 系 帮 助 我 们 更 好 地 了 解 了 这 个 世界 。 


这 听 起 来 似乎 有 点 违背 常理 。 毕 葛 ， 人 们 都 希望 通过 因 末 关 系 来 了 解 
这 个 世界 。 我 们 也 相信 ， 只 要 仔细 观察 ， 就 会 发 现 万 事 万 物 牌 有 因 
绿 。 了 解 事情 的 起 因 难道 不 是 我 们 最 大 的 愿望 吗 ? 


在 哲学 界 ， 关 于 因 末 关系 是 否 存 在 的 争论 已 经 持续 了 几 个 世纪 。 毕 
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这 个 结 采 又 是 由 其 他 原因 导致 的 ， 以 此 循环 往复 ， 那 么 殉 不 存在 人 的 
目 由 意志 这 一 说 了 一 一 所 有 的 生命 轨迹 都 只 十 受 因 末 关 系 的 控制 了 。 
因此 ， 对 于 因果 关系 在 世间 所 扮演 的 角色 ， 哲 学 家 们 争论 不 体 ， 有 时 
他 们 认为 ， 这 是 与 目 由 意志 相对 立 的 。 当 然 ， 关 于 理论 的 争辩 并 不 是 
我 们 要 研究 的 重点 。 


大 数据 洞察 


当 我 们 说 人 类 起 通过 因果 关系 了 解 世界 时 ， 我 们 指 的 是 我 们 在 理解 和 
解释 世界 各 种 现象 时 使 用 的 两 种 基本 方法 : 一 种 是 通过 快速 、 虚 幻 的 
因果 关系 ， 还 有 一 种 束 是 通过 缓慢 、 有 条 不 紊 的 因果 关系 。 大 数据 会 
改变 这 两 种 基本 方法 在 我 们 认识 世界 时 所 扮演 的 角色 。 


首先 ， 我 们 的 直接 愿望 惑 是 了 解 因 采 关 系 。 即 使 无 因 采 联系 存在 ， 我 
们 也 还 是 会 假定 其 存在 。 研究 证 明 ， 这 只 是 我 们 的 认 知 方式 ， 与 每 个 
人 的 文化 背景 、 生 长 环境 以 及 教育 水 平 是 无 关 的 。 当 我 们 看 到 两 件 事 
情 接连 发 生 的 时 候 ， 我 们 会 习惯 性 地 从 因果 关系 的 角度 来 看 得 它们 。 
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我 们 读 到 这 里 时 ， 可 能 立马 束 会 想到 弗 雷 德 生气 并 不 是 因为 供应 商 快 
到 了 ， 而 是 他 父母 迟到 了 的 缘故 。 实 际 上 ， 我 们 也 不 知道 到 展 是 什么 
情况 。 即 便 如 此 ， 我 们 还 是 不 橙 认为 这 些 假设 的 因果 关系 是 成 立 的 。 


普林斯顿 大 学 心理 学 专家 ， 同 时 也 是 2002 年 诺 贝尔 经 济 学 奖 得 主 丹 尼 
尔 ' 卡 尼 受 (Daniel Kahneman) 就 是 用 这 个 例子 证 明了 人 有 两 种 思维 模 
式 。 第 一 种 是 不 费力 的 快速 思维 ， 通 过 这 种 思维 方式 几 秒 钟 就 能 得 出 
a i i ere 


快速 思维 模式 使 人 们 仿生 用 因 末 联系 来 看 筛 周 围 的 一 切 ， 即 使 这 种 关 
系 并 不 存在 。 这 是 我 们 对 已 有 的 知识 和 信仰 的 执著 。 在 古代 ， 这 种 快 
速 思 维 模式 是 很 有 用 的 ， 它 能 帮助 我 们 在 信息 量 缺 乏 却 必须 快速 做 出 
A a 


卡 尼 曼 指出 ， 平 时 生活 中 ， 由 于 懈 性 ， 我 们 很 少 慢 条 斯 理 地 思考 问 
题 。 所 以 快速 思维 模式 吏 占 据 了 上 上风。 因此， 我 们 会 经 常 脐 想 出 一 些 
因果 关系 ， 最 终 导致 了 对 世界 的 错误 理解 。 


父母 经 第 告诉 孩子 ， 天 冷 时 不 戴 帐 子 和 手套 不 会 感 昌 。 人 然而， 事实 
上 ， 感 慎 和 罕 戴 之 间 却 没有 直接 的 联系 。 有 了 时， 我 们 在 某 个 餐饮 用 和 餐 
后 生病 了 的 话 ， 我 们 整 会 目 然 而 然 地 觉得 这 是 和 餐馆 食物 的 问题 ， 以 后 
可 能 就 不 再 去 这 家 和 餐馆 了 。 事 实 上 ， 我 们 肚子 痛 也 许 是 因为 其 他 的 传 
染 人 还 径 ， 比 如 和 患者 握 过 手 之 类 的 。 人 然而， 我们 的 快速 思维 模式 使 我 
们 直接 将 其 归于 任何 我 们 能 在 第 一 时 间 想 起 来 的 因果 关系 ， 因 此 ， 这 
经 名 导致 我 们 做 出 错误 的 决定 。 
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个 世界 的 理解 。 很 多 时 候 ， 这 种 认 知 捷径 只 十 给 了 我 们 一 种 目 己 已 经 
理解 的 错觉 ， 但 实际 上 ， 我 们 因此 完全 陷入 了 理解 误区 之 中 。 束 像 采 
样 古 我 们 无 法 处 理 全 部 数据 时 的 捷径 一 样 ， 这 种 找 因 有 果 关 系 的 方法 也 
年 我 们 大 脑 用 来 避免 蔷 吾 思考 的 捷径 。 


在 小 数据 时 代 ， 很 难 证 明 由 直觉 而 来 的 因果 联系 是 错误 的 。 现 在 ， 情 
况 不 一 样 了 。 将 来 ， 大 数据 之 间 的 相关 关系 ， 将 经 常会 用 来 证 明 直 觉 
的 因果 联系 是 错误 的 。 最 终 也 能 表明 ， 统 计 关 系 也 不 强 仿 多 少 真实 的 
因果 关系 。 忌 之 ， 我 们 的 快速 思维 模式 将 会 遭受 各 种 各 样 的 现实 考 


验 。 


令 人 欣喜 的 是 ， 为 了 更 好 地 了 解 世界 ， 我 们 会 因此 更 加 努力 地 思考 。 
但 是 ， 即 使 是 我 们 用 来 发 现 因 采 关 系 的 第 二 种 思维 方式 一 一 慢性 思 
维 ， 也 将 因为 大 数据 之 间 的 相关 关系 迎 来 大 的 改变 。 


日 常生 活 中 ， 我 们 习惯 性 地 用 因果 关系 来 考虑 事情 ， 所 以 会 认为 ， 
果 联 系 是 浅显 易 寻 的 。 但 事实 却 并 非 如 此 。 与 相关 关系 不 一 样 ， 即 使 
用 数学 这 种 比较 直接 的 方式 ， 因 来 联系 也 很 难 被 轻易 证 明 。 我 们 也 不 
能 用 标准 的 等 式 将 因 末 关 系 表达 清楚 。 因 此 ， 即 使 我 们 慢 慢 思考 ， 想 
要 发 现 因果 关系 也 是 很 困难 的 。 因 为 我 们 已 经 习惯 了 信息 的 匮乏， 故 
此 亦 习 惯 了 在 少量 数据 的 基础 上 进行 推理 思考 ， 即 使 大 部 分 时 候 很 多 
因素 都 会 削弱 特定 的 因 采 关系 。 


就 拿手 犬 疫 百 这 个 例子 来 说 ，1885 年 7 月 6 日 ， 法 国 化 学 家 路 易 . 巴 斯 德 

(Louis Pasteur) 接 诊 了 一 个 9 图 的 小 孩 约 瑟 夫 . 梅 斯 特 (Joseph 
Meister) ， 他 被 带 有 狂犬 病毒 的 狗 咬 了 。 那 时 ， 马 斯 德 刚 刚 研 发 出 狂 
犬 疫 百 ， 也 实验 验证 过 效果 了 。 梅 斯 特 的 父母 就 屋 求 巴 斯 德 给 他 们 的 
儿子 注射 一 针 。 巴 斯 德 做 了 ， 梅 斯 特 活 了 下 来 。 发 布 会 上 ， 巴 斯 德 因 
为 把 一 个 小 男孩 从 死神 手中 救出 而 大 受 蛮 奖 。 


但 真 的 是 因为 他 吗 ? 事实 证 明 ， 一 般 来 说 ， 人 被 狂犬 病 狗 咬 后 患 上 和 狂 
犬 病 的 概率 只 有 了 七 分 之 一 。 即 使 巴 斯 德 的 疫苗 有 效 ， 这 也 只 适用 于 七 
分 之 一 的 案例 中 。 无 论 如 何 ， 职 算 没 有 狂犬 疫苗 ， 这 个 小 男孩 活 下 来 
的 概率 还 是 有 859%。 


在 这 个 例子 中 ， 大 家 都 认为 是 注射 疫 盏 救 了 梅 斯 特 一 命 。 但 这 里 却 有 
两 个 因 采 关系 值得 商 梭 。 第 一 个 是 疫 盏 和 狂犬 病毒 之 间 的 因果 关系 ， 

第 二 个 束 古 被 这 有 狂犬 病毒 的 狗 哎 和 上 患 狂犬 病 之 间 的 因 来 关系 。 即 便 
苹 说 疫 丁 能 够 医 好 狂犬 病 ， 第 二 个 因 来 关系 也 只 适用 于 极 少数 情况 。 


不 过 ， 科 学 家 已 经 克服 了 用 实验 来 证 明 因果 关系 的 难题 。 实 验 是 通过 
征 否 有 诱因 这 两 种 情况 ， 分 别 来 观察 所 产生 的 结果 征 不 是 和 真实 情况 
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的 ， 我 们 只 能 说 ， 某 两 者 之 间 很 有 可 能 存在 因果 关系 。 但 两 者 之 间 又 
有 不 同 ， 证 明 因 采 关 系 的 实验 要 人 么 不 切实 际 ， 要 人 么 违 育 社会 伦理 道 
德 。 比 方 说 ， 我 们 怎么 从 5 亿 词 条 中 找 出 和 流感 传播 最 相关 的 呢 ? 我 们 
难道 真能 为 了 找 出 被 吧 和 叫 病 之 间 的 因果 关系 而 置 成 皇上 于 的 病人 的 
生命 于 不 顾 吗 ? 因为 实验 会 要 求 把 部 分 病人 当成 未 被 咬 的 “控制 组 ?成 
员 来 对 每 ， 但 是 就 算 给 这 些 病人 打 了 疫 盏 ， 我 们 又 能 保证 万 无 一 失 
吗 ? 而 且 束 算 这 些 实 验 可 以 操作 ， 操 作成 本 也 非常 的 昂 贯 。 


不 像 因 采 关系 ， 证 明 相关 关系 的 实验 耗资 少 ， 费 时 也 少 。 与 之 相 比 ， 
分 析 相 关头 系 ， 我 们 既 有 数学 方法 ， 也 有 统计 学 方法 ， 同 时 ， 数 字 工 
具 也 能 大 我 们 准确 地 找 出 相关 关系 。 


相关 关系 分 析 本 吴 意 义 重大 ， 同 时 它 也 为 研究 因果 关系 黄 定 了 基础 。 
通过 找 出 可 能 相关 的 事物 ， 我 们 可 以 在 此 基础 上 进行 进一步 的 因 采 天 
系 分 析 ， 如 果 存 在 因果 关系 的 话 ， 我 们 再 进一步 找 出 原因 。 这 种 便捷 
的 机 制 通过 严格 的 实验 降低 了 因 有 果 分 析 的 成 本 。 我 们 也 可 以 从 相互 联 
ee 这 些 变量 可 以 用 到 验证 因果 关系 的 实验 中 


可 是 ,我们 必须 非常 认真 。 相 关 关 系 很 有 用 ， 不 仅仅 是 因为 它 能 为 我 
们 提供 新 的 视角 ， 而 且 提供 的 视角 都 很 清晰 。 而 我 们 一 旦 把 因果 关系 
考虑 进来 ， 这 些 视角 就 有 可 能 被 蒙蔽 掉 。 


例如 ，Kaggle， 一 家 为 所 有 人 提供 数据 挖 抉 范 赛 平台 的 公司 ， 举 办 了 
关于 二 手 车 的 质量 竞赛 。 二 手 车 经 销 商 将 二 手 车 数据 提供 给 参加 比赛 
的 统计 学 家 ， 统 计 学 家 们 用 这 些 数 据 建 立 一 个 算法 系统 来 预测 经 销 商 
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质量 问题 的 可 能 性 只 有 其 他 车 的 一 半 。 


当 我 们 读 到 这 里 的 时 候 ， 不 栓 也 会 思考 其 中 的 原因 。 难 道 是 因为 橙色 
车 的 车 主 更 爱 车 ， 所 以 车 被 保护 得 更 好 吗 ? 或 是 这 种 颜色 的 车 子 在 制 
造 方面 更 精良 些 吗 ? 还 是 因为 杰 色 的 车 更 显眼 、 出 车 祸 的 概率 更 小 ， 
所 以 转手 的 时 候 ， 各 方面 的 性 能 保持 得 更 好 ? 
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我 们 可 以 用 数学 方法 ， 但 如 果 是 因 采 关系 的 话 ， 这 却 是 行 不 通 的 。 所 
以 ， 我 们 没 必 要 一 定 要 找 出 相关 关系 至 后 的 原因 ， 当 我 们 知道 了 “是 什 
么 ”的 时 候 ，“ 为 什么 ”其 实 没 那么 重要 了 ， 否 则 整 会 催生 一 些 滑 稳 的 想 
法 。 比 方 说 上 面 提 到 的 例子 里 ， 我 们 是 不 是 应 该 建议 车 主 把 车 漆 成 橙 
色 呢 ? 毕竟 ， 这 样 束 说 明 车 子 的 质量 更 过 重 啊 ! 


考虑 到 这 些 ， 如 采 把 以 确 灿 数据 为 基础 的 相关 关系 和 通过 快速 思维 构 
想 出 的 因 采 关系 相 比 的 话 ， 前 者 束 更 具有 说 服 力 。 但 在 越 来 越 多 的 情 
况 下 ， 快 速 清晰 的 相关 关系 分 析 甚 至 比 慢 速 的 因果 分 析 更 有 用 和 更 有 
效 。 慢 速 的 因果 分 析 集 中 体现 为 通过 严格 控制 的 实验 来 验证 的 因果 关 
系 ， 而 这 必然 是 非常 耗 时 耗 力 的 。 


近年 来 ， 科 学 家 一 直 在 试图 减少 这 些 实验 的 花费 ， 比 如 说 ， 通 过 巧妙 
地 结合 相似 的 调查 ， 做 成 < 类 似 实验 ”。 这 样 一 来 ， 因 采 关 系 的 调查 成 
本 残 降低 了 ， 但 还 是 很 难 与 相关 关系 体现 的 优越 性 相 抗衡 。 还 有 ， 正 
如 我 们 之 前 提 到 的 ， 在 专家 进行 因 采 关系 的 调查 时 ， 相 关头 系 分 析 本 
来 束 会 起 到 帮助 的 作用 。 


大 数据 洞察 


在 大 多 数 情况 下 ， 一 旦 我 们 完成 了 对 大 数据 的 相关 关系 分 析 ， 而 又 不 
再 满足 于 仅仅 知道 “是 什么 "时 ， 我 们 束 会 继续 同 更 深层 次 研究 因果 关 
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因 条 关系 还 是 有 用 的 ， 但 是 它 将 不 再 被 看 成 是 意义 来 源 的 基础 。 在 大 

数据 时 代 ， 即 使 很 多 情况 下 ， 我 们 依然 指望 用 因 采 关系 来 说 明 我 们 所 

发 现 的 相互 联系 ， 但 是 ， 我 们 知道 因果 关系 只 是 一 种 特殊 的 相关 天 

系 。 相 反 ， 大 数据 推动 了 相关 关系 分 析 。 相 关头 系 分 析 通 彰 情 况 下 能 

取代 因果 关系 起 作用 ， 即 使 不 可 取代 的 情况 下 ， 它 也 能 指导 因 末 关系 
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改变 ， 从 操作 方式 开始 


每 年 ， 因 沙井 兰 内 部 失火 ， 纽 约 每 年 有 很 多 沙井 凑 会 发 生 爆 炸 。 重 达 
人 arena need 
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为 纽约 提供 电力 支持 的 联合 爱迪生 电力 公司 (Con Edison) 每 年 都 会 
ADH EEA T fs Re Ba AAI 。 过 去 ， 这 完全 看 运气 ， 如 果 工 作 人 员 
检查 到 的 正好 是 即将 爆炸 的 承 最 好 了 ， 因 为 沙井 善 爆炸 威力 可 不 小 。 
2007 年 ， 联合 爱迪生 电力 公司 辐 哥 伦比 亚 大 学 的 统计 学 家 求助 ， 希 望 
他 们 通过 对 一 些 历史 数据 的 研究 ， 比 如 说 通过 人 研究 以 前 出 现 过 的 问 
题 、 基 础 设施 之 间 的 联系 ， 进 而 预测 出 可 能 会 出 现 问 题 并 且 需 要 维修 
eae 。 如 此 一 来 ， 它 们 就 只 要 把 自己 的 人 力 物 力 集 中 在 维修 这 些 
沙 JI 局 


这 是 一 个 复杂 的 大 数据 问题 。 光 在 纽约 ， 地 下 电缆 就 有 15 万 公里 ， 都 
足够 环绕 地 球 三 周 半 了 。 而 曼哈顿 有 大 约 51000 个 沙井 盖 和 服务 设施 ， 
其 中 很 多 设施 都 是 在 爱迪生 那个 时 代 建 成 的 ， 而 且 有 二 十 分 之 一 的 电 
缆 在 1930 年 之 前 就 铺 好 了 。 尽 管 1880 以 来 的 数据 都 保存 着 ， 却 很 杂 

乱 ， 因 为 从 没 想 过 要 用 来 进行 数据 分 析 。 这 些 数据 都 是 由 会 计 人 员 或 
进行 整修 的 工作 人 员 记 录 下 来 的 ， 因为 是 手记 ， 所 以 说 这 些 数据 杂乱 
一 点 也 不 为 过 。 比 如 说 ， 常 见 的 “服务 设施 ”代码 就 有 38 个 之 多 ， 而 计 
算 机 算法 需要 处 理 的 就 是 这 么 混乱 的 数据 : SB, S, S/B, S.B, S?B, 
S.B., SBX, S/BX, SB/X, S/XB, /SBX, S.BX, S&BX, S?BX, S 
BX, S/B/X, SBOX, SVBX, SERV BX, SERV-BOX, SERV/BOX, 
SERVICE BOX...... 


HX PIR Wit AAR ST (Cynthia Rudin) 回忆 道 : 


乍 看 这 些 数 据 的 时 候 ， 我 们 从 未 想 过 能 从 这 些 未 经 处 理 的 数据 中 找 出 
想 要 的 信息 。 我 打印 了 一 个 天 于 所 有 电 统 的 表格 。 如 末 把 这 个 表格 卷 
起 来 的 话 ， 除 非 你 在 地 上 拖 ， 不 然 你 绝对 提 不 起 它 来 。 而 我 们 需要 处 
理 的 就 是 这 么 多 没有 处 理 过 的 数据 。 只 有 理解 了 这 些 数 据 ， 才 能 从 中 
淘金 ， 并 倾 己 所 有 创建 一 个 好 的 预测 模型 。 


鲁 丁 和 她 的 同事 必须 在 工作 中 使 用 所 有 的 数据 ， 而 不 能 是 样本 ， 因 为 
说 不 定 ， 这 成 十 上 万 个 沙井 盖 中 的 某 一 个 束 是 一 个 定时 炸弹 ， 所 以 只 
有 使 用 "样本 = 总 体 ” 的 方法 才 可 以 。 昌 然 找 出 因果 关系 也 是 不 错 的 ， 但 
征 这 可 能 需要 一 个 世纪 之 久 ， 而 且 还 不 一 定 找 得 对 。 要 完成 这 项 任 
务 ， 比 较 好 的 办 法 器 是 ， 找 出 它们 之 间 的 相关 关系 。 相 比 * 为 什么 ”， 
她 更 关心 是 什么 ”。 但 是 她 也 知道 当面 对 联合 爱迪生 电力 公司 高 层 的 
时 候 ， 她 需要 证 明 远 择 方 案 的 正确 性 。 预 测 可 能 十 由 机 器 完成 的 ， 但 
苹 消 费 者 是 人 类 ， 而 人 就 习惯 性 地 想 通 过 找 出 原因 来 理解 事物 。 


鲁 丁 布 望 尽快 找到 整理 这 些 数据 的 便捷 方法 。 她 们 将 杂乱 的 数据 整理 
好 给 机 器 处 理 ， 由 此 发 现 了 大 型 沙井 兰 爆 炸 的 106 种 预警 情况 。 在 布朗 
soe (Bronx) 的 电网 测试 中 ， 他 们 对 2008 年 中 期 之 前 的 数据 都 进行 了 
分 析 ， 并 利用 这 些 数 据 预 测 了 2009 年 会 出 现 问题 的 沙井 盖 。 预 测 效 果 
非常 好 ， 在 他 们 列 出 的 前 10% 的 高 危 沙 井 凋 名 单 里 ， 有 44% 的 沙井 兰 
都 发 生 了 严重 的 事故 。 


最 终 ， 最 重要 的 因素 是 这 些 电缆 的 使 用 年 限 和 有 没有 出 现 过 问题 。 庆 
刺 的 是 ， 这 个 发 现 非常 有 意义 ， 因为 联合 爱迪生 电力 公司 的 高 层 们 可 
以 在 此 基础 上 上， 迅速 进 行 沙 井盖 事故 可 能 性 排序 。 但 是 ， 这 些 因 素 看 
起 来 会 不 会 太 过 明显 了 ? 


好 吧 ， 既 是 又 不 是 。 因 为 一 方面 ， ee 
Watts) 说 的 ，“ 一 旦 你 知道 了 结果 ， 一 切 都 很 容易 。” 但 是 男 一 方面 ， 
我 们 不 能 起 记 最 开 始 的 时 候 我 们 可 是 找 出 了 106 种 预警 情况 。 如 何 权衡 
以 及 优先 修理 成 十 上 万 个 沙井 盖 中 的 哪 一 个 ， 这 不 古 那 么 容易 做 出 决 
定 的 ， 因 为 各 种 各 样 的 因素 加 入 到 了 这 个 庞大 的 数据 库 中 ， 而 且 这 些 
数据 记录 的 方式 使 得 它 本 来 就 不 适合 处 理 分 析 。 
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大 数据 洞察 


我 们 需要 改变 我 们 的 操作 方式 ， EARNE E 收 集 到 的 所 有 数据 ， 而 不 
仅仅 是 使 用 样本 。 我 们 不 能 再 把 精确 性 当成 重心 ， 我 们 需要 接受 混乱 
和 错误 的 存在 。 夯 外 ， 我 们 应 该 侧重 于 分 析 相 关 关系 ， 而 不 再 寻求 每 
个 预测 硼 后 的 原因 。 


大 数据 ， 改 变 人 类 探索 世界 的 方法 


在 小 数据 时 代 ， 我 们 会 假想 世界 是 怎么 运作 的 ， 然 后 通过 收集 和 分 析 
数据 来 验证 这 种 假想 。 在 不 久 的 将 来 ， 我 们 会 在 大 数据 的 指导 下 探索 
世界 ， 不 再 受 限 于 各 种 假想 。 我 们 的 研究 始 于 数据 ， 也 因为 数据 我 们 
发 现 了 以 前 不 曾 发 现 的 联系 。 


假想 通常 来 目 目 然 理 论 或 社会 科学 ， 它 们 也 是 帮助 我 们 解释 和 预测 周 
遭 世 界 的 基础 。 随 着 由 假想 时 代 到 数据 时 代 的 过 渡 ， 我 们 也 很 可 能 认 
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为 我 们 不 再 需要 理论 了 。 


2008 年 ，《 连 线 》 杂 志 主 编 克 里 斯 -安德森 (Chris Anderson) 就 指 

出 : “数据 爆炸 使 得 科学 的 研究 方法 都 落伍 了 。” 后 来 ， 他 叉 在 《 拍 字 
节 时 代 》 (The Petabyte Age) 的 封面 故事 中 讲 到 ， 大 量 的 数据 从 某 种 
程度 上 意味 着 “理论 的 终结 ”。 安德森 也 表示 ， 用 一 系列 的 因果 关系 来 
验证 各 种 猜想 的 传统 研究 范式 已 经 不 实用 了 ， 如 今 它 已 经 被 无 需 理论 
指导 的 纯粹 的 相关 关系 研究 所 取代 。 


为 了 文 撑 目 己 的 观点 ， 安 德 森 阐述 了 量子 物理 学 已 变 成 一 门 纯 理 论 学 
科 的 原因 ， 婚 是 因为 实验 复杂 、 耗 费 多 而 且 不 可 行 。 他 洪 在 的 观点 束 
征 ， 量 于 物理 学 的 理论 已 经 脱离 实际 。 呈 他 提 到 了 谷歌 的 搜索 引擎 和 
基因 排序 工程 ， 指 出 : “现在 已 经 是 一 个 有 海量 数据 的 时 代 ， 应 用 数学 
已 经 取代 了 其 他 的 所 有 学 科 工 具 。 而 且 只 要 数据 足够 ， 束 能 说 明 问 
题 。 如 采 你 有 一 拍 字 节 的 数据 ， 只 要 掌握 了 这 些 数 据 之 间 的 相关 头 
R, REEI MWET °” 
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直到 目前 为 止 ， 我 们 一 直 都 是 把 理论 应 用 到 实践 中 来 分 析 和 理解 世 

界 ， 而 如 今 处 在 大 数据 时 代 ， 我 们 不 再 需要 理论 了 ， 只 要 关注 数据 就 
足够 了 。 这 束 意 味 着 所 有 的 普 衣 规则 都 不 重要 了 ， 比 方 说 世界 的 运 

作 、 人 类 的 行为 、 顾 客 买 什么 、 东 西 什么 时 候 会 坏 等 。 如 今 ， 重 要 的 
忠 古 数据 分 析 ， 它 可 以 揭示 一 切 问 题 。 


大 数据 洞察 


“理论 的 终结 ?似乎 暗示 着 ， 尽 管理 论 仍 存在 于 像 物理 、 化 学 这 样 的 学 
科 里 ， 但 大 数据 分 析 不 需要 成 形 的 概念 。 这 实在 充 雇 。 


大 数据 是 在 理论 的 基础 上 形成 的 。 比 方 说 ， 大 数据 分 析 束 用 到 了 统计 
和 数学 理论 ， 有 时 候 也 会 用 到 计算 机 科学 理论 。 是 的 ， 这 不 是 关于 像 
地 心 引 力 这 样 特定 现象 的 产生 原因 的 理论 ， 但 是 无 论 如 何 这 依然 是 理 
论 。 而 且 如 我 们 所 见 ， 建 立 在 这 些 理论 上 的 大 数据 分 析 模 式 是 实现 大 
数据 预测 能 力 的 重要 因素 。 事 实 上 ， 就 是 因为 不 受 限于 传统 的 思维 模 
0 
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首先 吏 是 关于 我 们 怎么 收集 数据 。 我 们 会 不 会 仅仅 看 数据 收集 的 方便 
程度 来 决定 呢 ? 或 者 看 数据 收集 的 成 本 ? 我 们 做 这 些 决定 的 时 候 束 被 
理论 所 影响 着 ， 而 束 如 达 纳 - 博 伊 德 (Danah Boyd) E: me A e 
(Kate Crawford) 说 的 ， 我 们 的 选择 一 定 程 度 上 决定 了 结果 。 毕 苋 ， 
谷歌 是 用 检索 词 来 预测 流感 而 不 是 鞋 码 。 同 样 ， 我 们 在 分 析 数 据 的 时 
候 ， 也 依赖 于 理论 来 选择 我 们 使 用 的 工具 。 最 后 ， 我 们 解读 研究 结 采 
的 时 候 同样 会 使 用 理论 。 大 数据 时 代 绝 对 不 是 一 个 理论 消亡 的 时 代 ， 
相反 地 ， 理 论 贯 穿 于 大 数据 分 析 的 方方面面 。 


作为 第 一 提出 问题 的 人 ， 安 德 森 应 该 获得 掌声 一 一 尽管 他 的 答案 不 怎 
么 样 ! 大 数据 绝 不 会 叫嚣 “理论 已 死 ?， 但 它 坚 无 疑问 会 从 根本 上 改变 
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大 数据 时 代 将 要 释放 出 的 巨大 价值 使 得 我 们 选择 大 数据 的 理念 和 方法 
不 再 是 一 种 权衡 ， 而 是 通 往 未 来 的 必然 改变 。 但 是 在 我 们 到 达 目 的 地 
之 前 ， 我 们 有 必要 了 解 怎 样 才能 到 达 。 高 科技 行业 里 的 很 多 人 认为 是 
依靠 新 的 工具 ， 从 高 速 必 片 到 高 效 软件 等 。 当 然 ， 这 可 以 理解 为 因为 
他 们 目 己 是 工具 创造 者 。 这 些 问题 固然 重要 ， 但 不 是 我 们 需要 考虑 的 
问题 。 大 数据 趋势 的 深层 原因 ， 束 是 海量 数据 的 存在 以 及 越 来 越 多 的 
事物 是 以 数据 形式 存在 的 ， 这 也 是 我 们 下 一 章 要 谈论 的 内 容 。 


[1] 算法 思路 可 参考 林 登 2003 年 在 IEEE Internet Computing 上 发 表 的 名 
为 “Amazon.com recommendations: item-to-item collaborative 
filtering” 一 文 。 当 然 ， 如 同 谷歌 源 于 PageRank 而 现在 远 不 仅 是 
PageRank， 亚 马 逊 目前 的 推荐 也 远 远 不 止 基于 对 和 象 的 协同 过 滤 那 么 倘 
单 。 举 例 而 言 ， 我 所 熟悉 的 百分点 通用 推荐 引擎 瓯 包含 了 数 十 种 名 用 
y 


[2] A, MEERE, A SAGE tH LAME, Ae 
没有 趋势 可 循 轩 了 。 一 一 译 者 注 


[3] 除了 利用 自 有 数据 处， 沃尔玛 实验 室 开 始 尝试 用 Facebook 好 友 喜 好 
和 Twitter 流量 与 内 容 分析 来 实现 智能 零售 。 下 载 一 个 Facebook 上 和 名 为 
就 能 收 到 沃尔玛 为 你 创建 的 礼品 清单 。 译 者 
{ 


[4] Teradata 的 前 身 是 著名 的 全 美 现 金 出 纳 机 公司 。 一 -一 作者 注 


[5] 2011F, ，Reshef 等 人 在 《科学 》 上 发 表 了 题 为 "Detecting Novel 
Associations in Large Datasets” 一 文 ， 探 讨 了 度量 双 变 量 复 杂 相 关 行 为 
的 新 方法 。 截 至 目前 ， 该 方法 还 不 能 处 理 多 变量 相关 。 译 者 注 


[6] 评价 目 己 不 了 解 的 学 科 ， 一定 要 谦虚 谍 慎 ， 最 好 是 不 要 做 这 样 的 评 
价 。 其 实 ， 目 前 的 电子 产业 、 纳 米 加 工 以 及 大 部 分 先进 的 医疗 技术 都 
直接 来 源 于 量子 理论 。 一 一 译 者 注 


第 二 部 分 大 数据 时 代 的 商业 变革 
04 数据 化 :一切 宥 可 “量化 ” 
大 数据 发 展 的 核心 动力 来 源 于 人 类 测量 、 记 录 和 分 析 世 界 的 渴望 。 信 


忌 技 术 变 草 随 处 可 见 ， 但 是 如 今 的 信息 技术 变 草 的 重点 在 “T” yan 
ls e ae 上 。 现 在 ， 我 们 是 时 候 把 聚 关 灯 打 癌 “T”， 


【大 数据 先锋 】 
日 本 先进 工业 技术 人 研究 所 的 坐姿 研究 与 汽车 防盗 系统 
合 歌 的 数字 图 书馆 
多 效 地 理 定 位 与 UPS 的 最 佳 行车 路 径 
Foursquare， 计 用 户 在 最 喜爱 的 地 方 “check in” 
用 手机 数据 预测 疾病 传播 和 城市 繁 采 
英国 对 神 基 金 公司 ， 用 微 博 数据 预测 股市 投资 时 机 
睡眠 活动 数据 库 与 睡眠 模式 预测 
GPS 感应 研 ， 判 断 环 境 因 素 对 哮 哨 病 的 影响 
莫 里 的 导航 图 ， 大 数据 的 最 早 实践 之 一 
马 修 . 方 丹 . 莫 里 (Matthew Fontaine Maury) 是 一 位 很 有 前 途 的 美国 海 
EER ° 1839F, TWEN ASS” (Consort) 接受 一 个 新 任 
务 时 ， 他 乘坐 的 马车 突然 滑 出 了 和 车道 ， 瞬 间 倾 倒 ， 把 他 抛 到 了 和 衬 中 。 
他 重重 地 摔 到 了 地 上 ， 大 腿 骨 粉碎 性 骨折 ， 膝 盖 也 脱 自 了“。 当 地 的 医 
生 帮 他 复位 了 膝盖 着， (EK AB Se Fo 儿 天 后 还 需要 重新 手术 。 
直到 33 岁 ， 他 的 伤 才 基本 痊愈 ， Be 受伤 的 腿 却 留 下 了 残疾 ， 变 得 有 


点 儿 跋 ， 再 也 无 法 在 海上 工作 。 经 过 近 三 年 的 休养 ， 美 国 海军 把 他 安 
排 进 了 办 公 室 ， 并 任命 他 为 图 表 和 仪器 厂 的 负责 人 。 


VET AD ANS, AEE T HA o (FEE, RE 
经 对 船只 在 水 上 绕 区 儿 不 走 直线 而 感到 十 分 不 解 。 当 他 向 船长 们 问 太 
这 个 问题 时 ， 他 们 回答 说 ， 走 熟悉 的 路 线 比 冒险 走 一 条 不 熟悉 而 且 可 
能 充满 危险 的 路 线 要 好 得 多 。 他 们 认为 ， 海 洋 是 一 个 不 可 预知 的 世 
界 ， 人 随时 都 可 能 被 意 想 不 到 的 风浪 困 住 。 


但 是 从 他 的 航行 经 验 来 看 ， 葛 里 知道 这 并 不 完全 正确 。 他 经 历 过 各 种 
各 样 的 风 其 。 一 次 ， 他 听 到 来 自 知 利 瓦 尔 帕 羔 索 扩展 港口 的 预警 ， 基 
眼目 睹 了 当时 乔 成 圆 形 的 风 惑 像 钟表 一 样 ， 但 在 下 午 晚 些 或 日 落 的 时 

候 ， 大 风 突 然 结 束 ， 静 下 来 变 成 一 阵 微风 ， 仿 佛 有 人 关 了 风 的 开关 一 

样 。 在 另 一 次 远航 中 ， 他 穿 过 墨西哥 监 色 海 域 的 暖流 ， 感 觉 束 像 在 大 

0 0 
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当 莫 里 还 是 一 个 海军 军官 学 校 的 学 生 时 ， 他 每 次 到 达 一 个 新 的 港口 ， 
总 会 向 老 船 长 学 习 经 验 知识 ， 这 些 经 验 知识 是 代 代 相传 下 来 的 。 他 从 
这 些 老 船 长 那里 学 到 了 潮汐 、 风 和 洋流 的 知识 ， 这 些 都 钙 在 军队 发 的 
书籍 和 地 图 中 无 法 学 到 的 。 相 反 ， 海 军 依 赖 于 陈旧 的 图 表 ， 有 的 部 使 
用 了 上 百年 ， 其 中 的 大 部 分 还 有 很 重大 的 遗漏 和 离谱 的 错误 。 在 他 新 
上 任 为 图 表 和 仪器 厂 负 贡 人 时 ， 他 的 目标 束 是 解决 这 些 问 题 。 


他 清点 了 库房 里 的 气压 计 、 指 南 针 、 六 分 仪 和 天 文 钟 。 他 发 现 ， 库 房 
里 存放 着 许多 航海 书籍 、 地 图 和 图 表 ;， 还 有 塞 满 了 旧 日 志 的 发 答 木 
箱 ， 这 些 都 是 以 前 的 海军 上 尉 写 的 航海 日 志 。 刚 开始 的 时 候 ， 他 觉得 
这 些 都 是 垃圾 ， 但 当 他 拍 掉 被 海水 误 泡 过 的 书籍 上 的 灰尘 ， 族 视 着 里 
面 的 内 容 时 ， 莫 里 突然 变 得 非常 激动 。 


这 里 有 他 所 需要 的 信息 ， 例 如 对 特定 日 期 、 特 定 地 点 的 风 、 水 和 天 气 
情况 的 记录 。 大 部 分 信息 都 非常 有 价值 。 莫 里 意识 到 ， 如 条 把 它们 整 
理 到 一 起 ， 将 有 可 能 硅 现 出 一 张 全 新 的 航海 图 。 这 些 日 志 是 无 章 可 循 
的 ;页面 边 上 尽 是 奇怪 的 打油诗 和 乱七八糟 的 信 手 涂鸦 ， 与 其 说 它们 
征 对 航海 行程 的 记录 ， 还 不 如 说 它们 是 船员 在 航海 途中 无 聊 的 娱乐 而 
已 。 尽 管 如 此 ， 仍 然 可 以 从 中 提取 出 有 用 的 数据 。 莫 里 和 他 的 20 人 台 “ 计 
算 机 ”一 一 那些 进行 数据 处 理 的 人 ， 一 起 把 这 些 破损 的 航海 日 志 里 记录 
Ata Zari T KIE, he SE a LE o 


英里 整合 了 数据 之 后 ， 把 整个 大 西洋 按 经 纬度 划分 成 了 五 块 ， 并 按 月 
份 标 出 了 温度 、 风 速 和 风 同 ， 因 为 根据 时 间 的 不 同 这 些 数据 也 有 所 不 


同 。 整 合 之 后 ， 这 些 数据 显示 出 了 有 价值 的 模式 ， 也 提供 了 更 有 效 的 
航海 路 线 。 


有 经 答 的 海员 fp solace tara ai 但 有 时 也 会 陷入 危险 之 中 。 

fe NA 条 繁忙 的 航线 上 ， 水 手 们 往往 倾 同 于 与 目 然 
斗争 而 不 是 顺应 目 然 。 BE 长 一 直 被 劝导 前 往 里 约 热 内 户 不 能 通过 
海峡 ， 因 为 那样 存在 很 大 风险 ， 所 以 船长 会 选择 在 东南 方向 的 航线 上 
航行 ， 再 穿 过 赤道 驶 向 西南 方向 。 而 这 样 一 来 ， 航 行 的 距离 就 相当 于 
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为 了 提高 精确 度 ， 莫 里 需要 更 多 的 信息 ， 因 此 他 创建 了 一 个 标准 的 表 
格 来 记录 航海 数据 ， 并 且 要 求 美 国 所 有 的 海军 舰艇 在 海上 使 用 ， 返 航 
后 再 提交 表格 。 商 船 也 拼命 地 想得到 他 的 图 表 ， 砚 里 融 有 要求 以 他 们 的 
航海 日 志 作 为 回报 (病毒 型 社交 网 络 的 早期 版 本 ) 。 他 宣称 : “BEAR 
航行 在 公海 上 的 船舶 从 此 以 后 都 可 以 被 视 为 一 个 浮动 的 天 文 台 ， 一 个 
科学 的 殿 蔚 。” 为 了 改进 和 完善 图 表 ， 他 需要 寻求 更 多 的 数据 (正如 从 
歌 利 用 网 页 排名 来 获得 更 多 的 数据 )  。 莫 里 让 船长 定期 向 海里 扔 拖 标 
有 日 期 、 位 置 、 风 向 以 及 当时 洋流 情况 的 瓶子 ， 然 后 再 来 寻找 这 些 瓶 
子 。 许 多 船 挂 了 一 面 特殊 的 旗帜 ， 表 明 它 参与 了 这 个 信息 交流 计划 。 

这 些 旗帜 就 是 出 现在 一 些 网 站 上 的 友情 链接 的 前 身 。 


通过 分 析 这 些 数 据 ， 英 里 知道 了 一 些 民 好 的 天 然 航线 ， 这 些 航 线 上 的 
风向 和 洋流 都 非常 利于 航行 。 他 所 绘制 的 图 表 帮 助 商人 们 市 省 了 一 大 
笔 钱 ， 因 为 航海 路 程 减少 了 三 分 之 一 左右 。 一 个 船长 感激 地 说 : “我 在 
得 到 你 的 图 表 之 前 都 是 在 盲目 地 航行 ， 你 的 图 表 真 的 指引 了 我 。” 有 一 
些 殴 固 的 人 拒绝 使 用 这 个 新 制 的 图 表 ， 而 当 他 们 因为 使 用 旧 方 法 航行 
到 半路 出 了 事故 或 者 花费 的 航行 时 间 长 很 多 的 时 候 ， 他 们 反而 帮助 证 
明了 莫 里 系统 的 实用 性 。 


1855 年 ， 葛 里 的 权威 著作 《关于 海洋 的 物理 地 理学 》 (The Physical 
Geography of the Sea) 出 版 ， 当 时 他 已 经 绘制 了 120 万 数据 点 了 。 莫 里 
写 道 ， 在 这 些 图 表 的 帮助 下 ， 年 轻 的 海员 们 不 用 再 亲 目 去 探索 和 总 结 
ce I Be 1 oh ik RRM REAREA FENE AREE E 
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他 的 工作 为 第 一 根 跨 大 西洋 电报 电缆 的 铺设 商定 了 基础 。 同 时 ， 在 公 
海上 发 生 了 一 次 灾难 性 的 碰撞 事件 之 后 ， 他 马上 修改 了 他 的 航线 分 析 


系统 ， 这 个 修改 后 的 系统 一 直 沿 用 至 今 。 他 的 方法 甚至 应 用 到 了 天 文 
学 领域 ，1846 年 当 海 王 星 被 发 现 的 时 候 ， 莫 里 有 了 一 个 好 点 子 ， 那 就 
征 把 错 把 海王 星 当 成 一 颗 恒 星 时 的 数据 都 汇集 起 来 ， 这 样 束 可 以 画 出 
海王 星 的 运行 轨迹 了 。 


这 个 土生 土 长 的 弗吉尼亚 人 在 美国 历史 上 并 不 受 关 注 ， 这 也 许 古 因为 
他 在 美国 内 战 期 间 不 再 为 海军 效力 ， 而 是 播 身 一 变 成 为 了 类 国联 邦 政 
府 在 英国 的 间谍 。 但 是 多 年 前 ， 当 他 前 去 到 欧洲 为 他 绘制 的 图 表 寻 求 
国际 文 持 的 时 候 ， 四 个 国家 授予 了 他 医 士 器 位 ， 包 括 梵 蒂 内 在 内 的 其 
他 八 个 国家 还 颁 给 了 他 金牌 。 即 使 到 今天 ， 类 国 海军 颁布 的 导航 图 上 
仍然 有 他 的 名 字 。 


数据 ， 从 最 不 可 能 的 地 方 提取 出 来 


庞大 的 数据 库 有 铸 小 数据 库 所 没有 的 价值 ， 菜 里 中 校 钙 最 早 发 现 这 一 
点 的 人 之 一 。 大 数据 的 核心 束 是 挖掘 出 庞大 的 数据 库 独 有 的 价值 。 更 
重要 的 是 ， 他 深 知 只 要 相关 信息 能 够 提取 和 绘制 出 来 ， 这 些 脏 乱 的 航 
海 日 志 束 可 以 变 成 有 用 的 数据 。 通 过 这 样 的 方式 ， 他 重复 利用 了 别人 
服 里 完全 没有 意义 的 数据 信息 。 从 这 个 意义 上 讲 ， 莫 里 殊 是 数据 化 的 
先驱 。 就 像 奥 伦 . 埃 齐 奥 尼 对 Farecast 所 做 的 事情 一 样 ， 用 航空 业 过 去 
的 价格 信息 催生 了 一 个 大 有 赚 头 的 新 公司 ; 也 像 谷歌 的 工程 师 所 做 的 
一 样 ， 通 过 过 去 的 检索 记录 预测 到 了 流感 的 爆发 ， 而 英里 则 是 发 挥 出 
了 单纯 用 于 记录 航行 位 置 的 数据 的 其 他 用 途 。 


里 然 与 今天 的 大 数据 技术 大 体 类 似 ， 但 是 一 想到 他 是 通过 人 人 工 一 笔 一 
画 完 成 的 图 表 绘 制 ， 就 让 人 不 禁 感 到 惊 疏 。 这 说 明 在 远 在 信息 数字 化 
之 前 ， 对 数据 的 运用 就 已 经 开始 了 。 如 今 我 们 经 常 把 < 数字 化 > 和“ 数 
据 化 ”这 两 个 概念 搞 混 ， 但 是 对 这 两 个 概念 的 区 分 实际 上 非常 重要 。 我 
们 来 看 一 个 更 加 现代 的 例子 ， 帮 助 我 们 理解 数据 其 实 可 以 从 看 上 去 最 
不 可 能 的 东西 中 提取 出 来 。 


大 数据 先锋 
日 本 先进 工业 技术 人 研究 所 的 坐姿 研究 与 汽车 防盗 系统 


日 本 先进 工业 技术 研究 所 (Japan's Advanced Institute of Industrial 
Technology) 的 教授 越 水 重臣 (Shigeomi Koshimizu) 所 做 的 研究 就 是 


关于 一 个 人 的 坐姿 。 很 少 有 人 会 认为 一 个 人 的 坐姿 能 表现 什么 信息 ， 


但 是 它 真 的 可 以 。 当 一 个 人 坐 着 的 时 候 ， 他 的 身 形 、 姿 势 和 重量 分 布 
都 可 以 量化 和 数据 化 。 越 水 重臣 和 他 的 工程 师 团队 通过 在 汽车 座 椅 下 
部 安 闭 总 共 360 个 压力 传 感 右 以 测量 人 对 椅子 施加 压力 的 方式 。 把 人 体 
屁股 特征 转化 成 了 数据 ， 并 且 用 从 0~256 这 个 数值 范围 对 其 进行 量 
化 ， 这 样 吏 会 产生 独 属 于 每 个 乘坐 者 的 精确 数据 资料 。 


在 这 个 实验 中 ， 这 个 系统 能 根据 人 体 对 座位 的 压力 差异 识别 出 乘坐 者 
的 号 份 ， 准 确 率 高 达 98% 。 


这 个 研究 并 不 轧 蕊 。 这 项 技术 可 以 作为 汽车 防盗 系统 安装 在 汽车 上 。 

有 了 这 个 系统 之 后 ， 汽 车 吏 能 识别 出 过 驶 者 是 不 是 和 车主; 如 采 不 是 ， 

系统 就 会 要 求生 机 输入 密码 如 采 司 机 无 法 准确 输入 密码 ， 汽 车 束 会 
昌 动 烛 火 。 把 一 个 人 的 付 姿 转化 成 数据 后 ， 这 些 数 据 就 健 育 出 了 一 些 
切实 可 行 的 服务 和 一 个 前 景 光明 的 产业 。 比 方 说 ， 通 过 汇集 这 些 数 

据 ， 我 们 可 以 利用 事故 发 生 之 前 的 姿势 变化 情况 ， 分 析出 坐姿 和 行驶 
安全 之 间 的 关系 。 Oe 
或 者 目 动 刹车 。 同 时 ， 这 个 系统 不 但 可 以 发 现 车 辆 被 姿 ， 而 且 可 以 通 
过 收集 到 的 数据 识别 出 盗 由 的 身份 。 


越 水 重臣 教授 把 一 个 从 不 被 认为 古 数据 、 甚 至 不 被 认为 和 数据 沾边 的 
事物 转化 成 了 可 以 用 数值 来 量化 的 数据 模式 。 同 样 ， 英 里 中 校 从 看 上 
去 没什么 用 处 的 事物 中 提取 出 了 信息 ， 转 化 成 了 极其 有 用 的 数据 。 这 
样 创新 性 的 应 用 创造 出 了 这 些 信息 独 特 的 价值 。 


数据 化 ， 不 是 数字 化 


“数据 ”(data) 这 个 词 在 拉丁 文 里 是 "已 知 ” 的 意思 ， 也 可 以 理解 为 事 
实 *。 这 是 网 几 里 得 的 一 部 经 典 著 作 的 标题 ， 这 本 书 用 已 知 的 或 者 可 由 
已 知 推导 的 知识 来 解释 几何 学 。 如 今 ， 数 据 代 表 着 对 某 件 事物 的 摘 
述 ， 数 据 可 以 记录 、 分 析 和 重组 它 。 我 们 还 没有 合适 的 词 用 来 形容 莫 
里 和 越 水 重臣 教授 所 做 的 这 些 转变 ， 所 以 我 们 姑且 称 其 为 “数据 化 ? 吧 
一 一 这 是 指 一 种 把 现象 转变 为 可 制 表 分 析 的 量化 形式 的 过 程 。 


数据 化 和 数字 化 大 相 径 庭 。 数 字 化 指 的 是 把 模拟 数据 转换 成 用 0 和 1 和 表 
示 的 二 进 制 码 ， 这 样 电脑 就 可 以 处 理 这 些 数据 了 。 数 字 化 并 不 是 计算 
机 改革 的 开始 ， 最 初 的 计算 机 音 命 十 计算 能 力 的 飞跃 。 我 们 通过 计算 
宙 计 算 过 去 需要 耗费 很 长 时 间 的 项 目 ， 比 方 贷 导弹 弹道 表 、 人 口 普查 
结果 和 天 气 预 报 。 直 到 后 来 才 出 现 了 模拟 数据 和 数字 化 。 所 以 1995 


年 ， 当 美国 麻 省 理工 学 院 媒 体 实验 室 的 尼古拉斯 : 尼 葛 洛 庞 帝 

(Nicholas Negroponte) 发 表 他 的 标志 性 著作 《数字 化 生存 》 (Being 
Digital) 的 时 候 ， 他 的 主题 就 是 “从 原子 到 比特 ”。20 世 纪 90 年 代 ， 我 
们 主要 对 文本 进行 数字 化 。 随 着 过 去 的 几 十 年 里 存储 能 力 、 处 理 能 
人 


大 数据 洞察 


今天 ， 技 术 专 家 都 默认 大 数据 的 发 展 和 计算 机 的 变 草 是 同步 的 。 但 屋 
实 并 不 是 这 样 的 。 友 无 疑问 ， 是 现代 信息 系统 让 大 数据 成 为 了 可 外 
但 十 大 数据 发 展 的 核心 动力 来 源 于 人 类 测量 、 记 录 和 分 析 世 界 的 淘 
Be o 信息 技术 变革 随处 可 兄 ， 但 是 如 今 信息 技术 变革 的 重点 在 “T”( 技 
R E, mee (fa) 上。 现在 ， 我 们 是 时 候 把 聚光灯 打 
癌 “*?， 开 始 关注 信息 本 映 了 。 


为 了 得 到 可 量化 的 信息 ， 我 们 要 知道 如 何 计 量 ， 为 了 数据 化 量化 了 的 
信息 ， 我 们 要 知道 怎么 记 杂 计量 的 结果 。 这 需要 我 们 拥有 正确 的 工 

具 。 计 量 和 记录 的 需求 也 是 数据 化 的 前 提 ， 而 我 们 在 数字 化 时 代 来 临 
的 几 个 世纪 前 豆 已 经 页 定好 了 数据 化 的 基础 。 


量化 一 切 ， 数 据 化 的 核心 


记录 信息 的 能 力 是 原始 社会 和 先进 社会 的 分 界线 之 一 。 早 期 文明 最 百 
EWR TALS UIT R ARKEA EIT ak 公元 前 3000 
年 ， 信 息 记 录 在 印度 河流 域 、 埃 及 和 美 索 不 达 米 亚 平 原 地 区 束 有 了 很 
大 的 发 展 而 日 芝 的 计量 方法 也 大 有 改善 。 美 索 不 达 米 亚 乎 原 上 书写 
的 发 展 促使 了 一 种 记录 生产 和 交易 的 精确 方法 的 产生 ， 这 让 早期 文明 
能 够 计量 并 记载 事实 情况 ， 并 且 为 日 后 所 用 。 计 量 和 记录 一 起 促成 了 
数据 的 诞生 ， 它 们 是 数据 化 最 早 的 根基 。 


计量 和 记录 能 够 再 现 人 类 活动 。 比 如 通过 记录 建筑 物 的 建筑 方式 和 原 
材料 ， 我 们 焉 能 再 建 同样 的 建筑 ， 或 进行 实验 性 的 操作 ， 比 如 通过 改 
eee as 而 建造 出 新 的 建筑 物 ， 然 后 再 记 杂 这 些 新 建 
筑 物 。 交 易 情况 一 旦 得 到 记录 ， 我 们 就 可 以 知道 一 块 地 丰收 时 称 合 的 
产量 是 多 少 、 需要 上 缴 多 少 政府 税收 。 计 量 和 记录 为 预测 和 计划 丙 定 
了 基础 ， 虽 然 这 建立 在 假定 明年 的 收成 和 今年 一 样 的 基础 上 。 有 了 记 
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持 ， 欠 俩 的 一 方 则 完全 可 以 不 用 还 钱 。 


几 百 年 来 ,计量 从 长 度 和 重量 不 断 扩展 到 了 面积 、 体 积 和 时 间 。 公 元 
前 的 最 后 一 个 千年 ， 西 方 的 计量 方法 已 经 基本 准备 束 绪 ， 但 是 还 是 有 
着 比较 户 重 的 缺陷 。 早 期 文明 的 计量 方法 不 太 适 合计 算 ， 哪 怕 是 比较 
简单 的 计算 。 比 如 罗马 数字 的 计算 系统 整 不 适合 数字 计算 ， 因 为 它 没 
有 一 个 以 10 为 的 的 记 数 制 或 者 说 是 十 进 制 ， 所 以 大 数目 的 乘除 吏 算 是 
专家 都 不 知道 该 怎么 算 ， 而 简单 的 乘除 对 一 般 人 来 说 也 不 容易 。 


大 约 公 元 1 世纪 的 时 候 ， 印 度 发 明了 一 种 自己 的 数字 系统 。 它 传播 到 了 
波斯 ， 并 在 那里 得 到 改善 ， 而 后 传 入 阿拉 伯 国 家 ， 得 到 了 极 大 的 改 
进 。 这 也 就 古今 天 使 用 的 阿拉 伯 数 字 的 前 和 喘 。 十 子 军 东 征 给 当地 人 民 
带 来 了 彻头彻尾 的 灾难 ， 但 同时 也 把 西欧 文明 市 到 了 地 中 海 东部 ， 而 
其 中 最 重要 的 引入 就 是 阿拉 伯 数 子 。 公 元 1000 年 ， 教 呈 西 尔 维 斯 特 二 
世 开 始 倡导 使 用 阿拉 伯 数 字 。12 世 纪 ， 介 绍 阿 拉 伯 数字 的 书籍 被 翻译 
成 拉丁 文 ， 传 播 到 了 整个 欧洲 地 区 。 这 也 就 开启 了 算术 的 腾飞 。 


早 在 阿拉 伯 数 字 传 播 到 欧洲 之 前 ， 计 数 板 的 使 用 就 已 经 改善 了 算术 。 
计数 板 束 是 在 光滑 的 托盘 上 放 上 代 币 来 表示 数量 ， 人 们 通过 移动 代 币 
到 某 个 区 域 进行 加 减 。 但 是 ， 这 种 计数 板 有 着 闫 重 的 缺陷 ， 即 过 大 和 
过 小 的 计算 无 法 同时 进行 。 最 主要 的 缺陷 还 在 于 ， 这 些 计 数 板 上 的 数 
字 变 化 很 快 ， 不 小 心 的 磁 扩 或 者 是 择 错 一 位 都 会 导致 完全 错误 的 结 

果 。 而 且 ， 即 便 计数 板 勉 强 可 以 进行 计算 ， 它 也 不 适合 用 来 记录 。 因 
为 一 旦 需要 将 数 子 记录 在 计数 板 以 外 的 地 方 ， 就 必须 把 计数 板 上 的 数 
字 转 化 成 罗马 数 子 ， 这 可 束 费 时 费力 了 。® 


算术 赋予 了 数据 狐 的 意义 ， 因 为 它 现在 不 但 可 以 被 记录 还 可 以 被 分 析 
和 再 利用 。 阿 拉 伯 数字 从 12 世 纪 开 始 在 欧洲 出 更， 而 直到 16 世 纪 晚 期 
才 被 广 沁 采用 。 到 16 世 纪 的 时 候 ， 数 学 家 们 大 肆 救 吹 他 们 使 用 阿拉 伯 
数字 计算 能 比 使 用 计数 板 快 6 倍 。 但 最 终 让 阿拉 伯 数 字 广 为 采用 的 还 是 
复式 记 账 法 所 的 出 现 ， 它 也 是 数据 化 的 一 种 工具 。 


公元 前 3000 年 ， 会 计 手 稿 整 出 现 了 。 但 十， 记 账 法 在 接 下 来 的 几 百 年 
里 发 展 缓慢 ， 基 本 上 一 直 保持 在 记录 某 地 的 某 个 特定 交易 的 阶段 。 记 
账 人 和 他 的 雇主 最 关心 的 殊 是 判断 某 个 账户 或 者 目 己 所 从 事 的 行业 是 
否 赚钱 ， 而 这 正 是 当时 的 记 账 手法 无 法 轻易 做 到 的 事情 。 到 了 14 世 

纪 ， 随 着 意大利 的 会 计 们 开始 使 用 两 个 账本 记录 交易 明细 ， 这 种 尴 碎 


的 境地 开始 发 生 改 变 。 这 种 记 账 法 的 优势 在 于 ， 人 们 只 需要 将 借贷 相 
加 ， 束 可 进行 制 表 并 得 知 每 个 账户 的 盘 亏 情况 。 如 此 ， 数 据 骤然 发 声 
了 ， 虽 然 仅 限于 读 出 盘 亏 情况 。 


如 今 ， 复 式 记 账 法 通常 被 看 成 是 会 计 业 和 金融 业 不 断 发 展 的 成 果 。 事 
实 上 ， 在 数据 利用 的 推进 过 程 中 ， 它 也 是 一 个 里 程 碑 似 的 存在 。 它 的 
出 现实 现 了 相关 账户 信息 的 “分 门 别 类 ”记录 。 它 建立 在 一 系列 记 杂 数 
据 的 规则 之 上 上， 也 是 最 早 的 信息 记录 标准 化 的 例子 ， 使 得 会 计 们 能 够 
读 介 彼 此 的 账本 。 复 式 记 账 法 可 以 使 得 询 每 个 账户 的 盘 亏 情况 变 得 位 
单 容易 。 它 会 提供 交易 的 记 账 线索 ， 这 样 束 更 容易 找到 需要 的 数据 。 
它 的 设计 理念 中 包含 了 “ 纠 错 ? 的 思想 ， 这 也 十 今天 的 技术 人 才 们 应 该 


但 是 ， 和 阿拉 伯 数 字 一 样 ， 复 式 记 账 法 也 没有 立即 取得 成 功 。 直 到 200 
年 之 后 ， 一 个 数学 家 和 一 个 商业 家 族 才 让 它 大 受 欢 迎 ， 他 们 也 改变 了 
数据 化 的 历史 。 


这 个 数学 家 就 是 方 济 各 会 的 修士 路 萨 .由 西 奥 利 (Luca Pacioli) ° 1494 
年 ， 他 出 版 了 一 本 为 普通 读者 和 商人 所 写 的 数学 教材 。 这 本 书 大 获 成 
功 ， 成 为 盛行 一 时 的 数学 教科 书 。 这 征 第 一 本 全 书 都 使 用 阿拉 伯 数 字 
的 书籍 ， 因 此 也 促进 了 阿拉 伯 数 子 在 欧洲 的 传播 。 当 然 ， 这 本 书 最 大 
的 贡献 在 于 它 对 复式 记 账 法 的 详尽 论述 。 接 下 来 的 儿 十 年 间 ， 这 个 论 
下 
LAS ° 


TM Arisa — “PARR, MERRI ER BE a res AA OK 
助人 。16 世 纪 ， 这 个 家 族 能 成 为 欧洲 最 有 影响 力 的 银行 家 族 ， 很 大 一 
部 分 要 归功 于 他 们 使 用 的 一 种 高 级 数据 记录 方法 一 一 复式 记 账 法 。 由 
西 奥 利 的 著作 和 美 第 齐 家 族 的 成 功 奠定 了 复式 记 账 法 成 为 标准 数据 记 
录 法 的 基础 ， 也 奠定 了 阿拉 伯 数 字 在 此 之 后 不 可 取代 的 地 位 。 


伴随 着 数据 记录 的 发 展 ， 人 类 探索 世界 的 想法 一 直 在 脱 胀 ， 我 们 淘 望 
能 更 精准 地 记录 时 间 、 距 离 、 地 点 、 体 积 和 重量 ， 等 等 。 到 了 19 世 

纪 ， 随 着 科学 家 们 发 明了 新 工具 来 测量 和 记录 电流 、 气 压 、 瘟 度 、 声 
频 之 类 的 目 然 科学 现象 ， 科 学 已 经 离 不 开 定量 化 了 。 那 古 一 个 一 切 事 
物 都 需要 被 测量 、 划 分 和 记录 的 时 代 ， 和 人们 理解 目 然 的 热情 甚至 高 涨 
到 通过 分 析 测 量 人 的 颅骨 来 试图 分 析 人 的 心 关 能 力 。 好 在 ， 对 颅 相 学 


这 类 伪 科 学 的 热情 最 终 淡 去 了 ， 但 是 人 类 对 于 量化 一 切 的 热情 却 始终 
没有 减退 。 


新 工具 和 开放 的 思维 促进 了 测量 事物 和 记录 数据 的 繁 示 ， 而 现代 数据 
化 就 诞生 于 这 片 沃 土 之 中 。 数 据 化 的 基础 已 经 黄 定 完好 ， 只 是 在 模拟 
时 代 这 依然 古 费 时 费力 的 。 有 时 候 似乎 需要 无 穷 无 尽 的 激情 和 耐心 ， 
或 者 说 ， 起 码 也 要 有 奉献 一 生 的 准备 ， 比 如 16 世 纪 的 第 谷 . 布 拉 幸 
(Tycho Brahe) 就 夜 夜 细心 观察 天 体 运 动 。 数 据 化 在 模拟 时 代 成 功 的 
例子 并 不 多 ， 因 为 这 需要 很 好 的 运气 一 一 一 大 串 的 偶然 巧妙 地 绪 合 在 
一 起 。 中 校 葛 里 融 很 幸运 ， 他 因 伤 坐 进 了 办 公 室 ， 但 是 却 在 那里 发 现 
了 珍 贯 的 航海 日 志 ， 可 不 是 每 个 人 都 能 这 么 幸运 的 。 然 而 ， 数 据 化 的 
实现 有 一 点 必 不 可 少 ， 那 束 是 要 从 洪 在 的 数据 中 挖掘 出 巨大 的 价值 ， 
然后 揭示 出 新 的 深刻 洞 见 。 


计算 机 的 出 现 带 来 了 数 子 测量 和 存储 设备 ， 这 样 束 大 大 提高 了 数据 化 
的 效率 。 计 算 机 也 使 得 通过 数学 分 析 挖 气 出 数据 更 大 的 价值 变 成 了 可 
能 。 简 而 言 之 ， 数 字 化 带 来 了 数据 化 ， 但 是 数字 化 无 法 取代 数据 化 。 
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当 文 字 变 成 数据 


数字 化 和 数据 化 的 差异 是 什么 ? 回答 这 个 问题 很 容易 ， 我 们 来 看 一 个 
两 者 同时 存在 并 且 起 作用 的 领域 束 可 以 理解 了 ， 这 个 领域 束 是 书籍 。 
2004, AKA T -PECCAT 它 试 图 把 所 有 版 权 条 例 允 
许 的 书本 内 容 进 行 数 子 化 ， 让 世界 上 所 有 的 人 都 能 通过 网 络 免 费 阅读 
这 些 书籍 。 为 了 完成 这 个 伟大 的 计划 ， 谷 歌 与 全 球 最 大 和 最 和 著名 的 图 
书 饰 进行 了 合作 ， 并 且 还 发 明了 一 个 能 目 动 翻 页 的 扫 摘 仪 ， 这 样 对 上 
百 万 书籍 的 扫 摘 工作 才 切 实 可 行 且 不 至 于 太 过 昂贵 。 


刚 开始 ， 谷 歌 所 做 的 是 数字 化 文本 ， 每 一 页 都 被 扫 摘 然后 存 入 谷歌 服 
务 需 的 一 个 高 分 辩 率 数字 疼 像 文件 中 。 书 本 上 的 内 容 变 成 了 网 络 上 的 
数字 文本 ， 所 以 任何 地 方 的 任何 人 都 可 以 方便 地 进行 查阅 了 。 然 而 ， 
这 还 是 需要 用 户 要 么 知道 目 己 要 找 的 内 容 在 哪 本 书 上 ， 要 么 必须 在 浩 
泣 的 内 容 中 寻 疯 目 己 需要 的 片段 。 因为 这 些 数 字 文 本 没有 被 数据 化 ， 
所 以 它们 不 能 通过 搜索 词 被 查找 到 ， 也 不 能 被 分 析 。 谷歌 所 拥有 的 只 
征 一 些 图 像 ， 这 些 图 像 只 有 依靠 人 的 阅读 才能 转化 为 有 用 的 信息 。 


虽然 这 是 一 个 现代 的 、 数 字 化 的 亚历山大 图 书馆， 比 历史 上 任何 一 个 
图 书包 都 要 强大 ， 但 谷歌 依然 布 望 它 能 做 得 更 多 。 谷 歌 知 道 ， 这 些 信 
恩 只 有 被 数据 化 ， 它 的 巨大 潜在 价值 才 会 个 释放 出 来 。 因 此 谷歌 使 用 
了 能 识别 数字 图 像 的 光学 字符 识别 软件 来 识别 文本 的 字 、 词 、 句 和 上段 
沙 ， 如 此 一 来 ， 书 页 的 数字 化 图 像 束 转化 成 了 数据 化 文本 。 


如 今 ， 不 仅 人 类 可 以 使 用 这 些 文本 信息 ， 计 算 机 也 可 以 处 理 和 分 析 这 
些 文本 数据 了 。 通 过 检索 和 查询 ， 我 们 可 以 对 它 进 行 无 穷 无 尽 的 文本 
分 析 ; 也 可 以 揭示 一 个 词 以 及 词组 第 一 次 出 现 的 时 间 及 其 成 为 流行 词 
的 时 间 ， 据 此 发 现 几 百 年 来 人 类 思维 发 展 和 思想 传播 的 轨迹 。 这 种 分 
析 文 持 好 儿 种 语言 。 


大 数据 先锋 
谷歌 的 数 子 图 书 饰 


你 可 以 目 己 斌 一 试 。 输 入 网 址 http: //books.google.com/ngrams， 打 开 
Google Ngram Viewer， 它 利用 合 歌 所 拥有 的 所 有 图 书 作为 数据 资源 ， 
为 你 提供 单词 和 短语 历年 使 用 次 数 的 展示 图 表 。 肥 眼 之 则 ， 我 们 就 能 
发 现 “causality”( 因 果 天 系 ) 这 个 词 在 1900 年 之 前 的 使 用 频率 

比 “correlation” (相关 关 系 ) 高 ;而 在 1900 年 之 后 ， 情 况 束 与 之 前 相反 
了 。 对 于 作者 存在 争议 的 书籍 ， 我 们 上 自己 也 可 以 进行 作品 风格 鉴定 。 
数据 化 的 实现 让 抄袭 学 术 作品 的 行为 越 来 越 无 处 藏 刁 ， 因 此 ， 很 多 欧 
eae (包括 一 名 德国 国防 部 长 ) 的 抄袭 行为 被 曝光 ， 最 终 不 得 不 引 
全 F y\ ° 


15 世 纪 中 时 ， 人 类 发 明了 印刷 机 ， 在 这 之 后 大 约 出 版 了 1.3 亿 册 图 书 。 
到 2010 年 为 止 ， 也 天 是 谷歌 的 数字 化 和 独 书 计划 实行 7 年 之 后 ， 大 约 有 
2000 万 图 书 被 扫描 成 了 数字 图 书 ， 这 几乎 相当 于 人 类 所 有 书写 文明 的 
15%， 这 是 多 么 惊人 的 数字 ! 这 诱发 了 一 个 新 的 学 术 方 向 一 一 文化 组 
学 由 。“ 文 化 组 学 ?是 一 个 计算 机 专业 词汇 ， 指 的 殉 是 通过 文本 的 定量 
分 析 来 揭示 人 类 行为 和 文化 发 展 的 趋势 。 


在 一 项 研究 中 ， 哈 佛 大 学 的 研究 员 们 对 几 百 万 册 书 籍 和 超过 5000 亿 个 
单词 进行 了 深入 研究， 发 现 这 些 书 中 出 现 过 的 单词 有 一 半 以 上 在 字典 
中 十 无 法 找到 的 。 旦 他 们 写 道 ， 这 些 因为 不 够 规范 而 没有 录入 正规 词 
典 中 的 词汇 如 此 之 多 ， 有 是 一 个 巨大 的 至 藏 。 通 过 系统 分 析 人 们 如 何 提 
及 纳粹 德国 时 期 的 犹太 画家 马克 - 夏 加 尔 (Marc Chagall) 旦 ， 他 们 发 
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征 藏 于 书 中 而 非 沉 积 央 中 的 化 石 ; 信奉 "文化 组 学 ?的 人 可 以 像 考古 学 
RM, TOPE NT eH E o SPR, HY eae SBE BE AY EY th 
Ze, KURRE RENER RHA YP SCE? 还 是 反映 的 只 是 
作者 和 图 书 管理 员 看 到 的 世界 ? 尽管 如 此 , “文化 组 学 ”还 是 会 为 人 们 
带 来 很 多 慰 言 的 发 现 。 


当 文 字 变 成 数据 ， 它 就 大 显 神 通 了 一 一 人 可 以 用 之 阅读 ， 机 器 也 可 用 

之 分 析 。 但 是 作为 典型 的 大 数据 公司 ， 合 歌 自然 知道 收集 信息 并 进行 
数据 化 的 价值 ， 因 为 这 些 数据 有 非 肖 多 的 潜在 用 途 。 所 以 ， 合 歌 精明 

地 利用 这 些 数 据 化 了 的 文本 来 改进 它 的 机 絮 翻 译 服务 。 束 像 第 3 章 介 绍 
过 的 一 样 ， 这 个 系统 会 目 动 扫 摘 译本 ， 然 后 找 出 译 语 的 单词 和 词组 在 

源 语 中 的 对 应 词 和 词组 是 什么 。 一 旦 得 到 答案 ， 系 统 就 可 以 把 翻译 看 

成 是 一 个 简单 的 数学 问题 ， 只 需要 用 电脑 找 出 两 种 语言 之 间 最 恰当 的 

对 等 词 和 词组 。 


当然 ， 合 歌 并 不 是 第 一 个 梦想 在 计算 机 时 代 唤 醒 书 写 文 明 所 强 舍 的 财 
富 的 公司 ， 它 也 不 是 第 一 个 吃 财 蟹 的 人 。1971 年 ， 一 个 志愿 者 提出 倡 
议 把 公共 领域 的 书籍 放 上 网 络 ， 制 成 电子 书 ， 方 便 更 多 的 人 阅读 ， 这 
就 是 古 登 堡 计 划 (Project Gutenburg) 。 这 是 非常 有 意义 的 ， 但 是 这 个 
计划 没有 把 书籍 数据 化 ， 也 没有 开发 出 书籍 的 其 他 功能 ， 它 关注 的 是 
阅读 ， 而 不 是 扩充 书籍 用 途 。 同 样 地 ， 出 版 社 多 年 来 也 一 直 致 力 于 电 
子 书 领域 的 开发 ， 但 是 他 们 都 只 是 把 书籍 内 容 作 为 核心 价值 ， 而 没有 
把 书籍 看 作 一 种 数据 并 纳入 目 己 的 商业 模式 中 。 因 此 ， 他 们 没有 做 到 
把 书籍 的 数据 价值 挖掘 出 来 ， 也 不 允许 别人 这 样 做 。 他 们 没有 看 到 数 
据 化 的 需求 ， 也 意识 不 到 书籍 的 数据 化 潜力 。 


现在 很 多 公司 都 在 电子 书 领域 激烈 地 葛 争 着 ， 亚 马 逊 连同 它 的 Kindle 
电子 书 就 是 这 个 领域 的 先驱 者 。 同 样 在 这 里 ， 亚 蕊 还 和 合 歌 的 发 展 策 
ar mI DW ° 
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该 公司 创始 人 兼 执行 总 裁 贝 索 斯 说 服 了 上 百 家 出 版 社 在 Kindle 上 发 布 
它们 的 图 书 ， 所 以 Kindle 的 图 书 并 不 古 数字 图像， 人们 可 以 更 改 字 体 
大 小 和 用 黑 日 以 及 彩色 两 种 方式 看 书 。 这 些 书籍 是 数据 化 了 的 ， 不 只 
征 数 字 化 。 事 实 上 ， 亚 马 进 把 上 百 万 的 新 书 都 数据 化 了 ， 而 谷歌 却 在 
费力 地 数据 化 很 多 旧版 本 的 数据 。 然 而 ， 亚 马 逊 把 它 的 眼光 育 焦 于 用 
来 阅读 的 书籍 内 容 上 ， 而 不 是 分 析 数 据 化 文本 上 。 当 然 ， 有 可 能 它 面 


AY TAR B IESE MICELI 7 后 者 可 能 限制 了 书籍 内 容 的 使 用 方法 ， 
毕竟 版 权 在 人 家 手中 。 BRK, EN-ES TIAE AGES 
司 ， 束 没有 这 样 的 压力 了 ， 毕 竞 合 歌 的 资源 来 源 于 用 户 点 击 ， 而 不 天 
出 版 社 什 么 事 。 至 少 现在 ， 可 以 不 失 公 人 允 地 说 ， 亚 蕊 壕 深 说 数 子 化 内 

容 的 意义 ， 而 谷歌 触及 了 数据 化 内 容 的 价值 。 


当 方 位 变 成 数据 


地 球 本 映 构成 了 世界 上 最 基础 的 信息 。 但 是 ,历史 上 它 几 乎 从 来 没有 
被 量化 和 数据 化 过 。 其 实 ， 人 和 事物 的 地 理 定 位 目 然 是 信息 的 组 成 部 
分 ， 不然 我 们 如 何 能 够 吟唱 “所 请 伊人 ， 在 水 一 方 "”，” 但 是 ， 这 些 信息 
需要 转变 为 数据 。 


大 数据 洞察 


对 地 理 位 置 的 数据 化 需要 满足 一 些 前 提 条 件 。 我 们 需要 能 精确 地 测量 
地 球 上 的 每 一 块 地 方 ， 我 们 需要 一 套 标 准 的 标记 体系 ; 我 们 需要 收集 
和 记录 数据 的 工 具 。 简 而 言 之 ， 就 是 地 理 范 围 、 标 准 、 工 具 或 者 说 量 
化 、 标 准 化 、 收 集 。 只 有 具备 了 这 些 ， 我 们 才能 位 置信 息 当成 数据 
来 存储 和 分 析 。 


在 西方 ， 对 位 置信 息 的 量化 起 源 于 希腊 。 公 元 前 200 年 ， 埃 拉 托 色 尼 发 
明了 用 格 网 线 来 划分 区 域 的 系统 ， 类 似 于 经 纬度 法 。 但 是 ， 如 同 很 多 
十 代 的 好 想法 一 样 ， 它 也 在 历史 长 河中 被 慢 慢 遗 生 了。 大 约 1500 年 之 
后 ， 也 就 是 公元 1400 年 ， 托 勒 密 著 成 的 《地 理学 》 (Geographia ) 的 
EUAN GILT RE TARER, BEELER NAT DAA 
了 对 科学 和 古典 知识 的 热情 的 时 候 。 闭 作息 动 一 时 ， 而 书 中 提 到 的 系 
统 现在 仍 被 用 来 解决 航海 导航 的 难题 。 从 那 以 后 ， 地 图 上 标 上 了 经 纬 
度 和 比例 尺 。 这 套 系统 在 1570 年 得 到 了 佛 兰 德 制图 师 大 卡 托 的 改善 ， 
至 此 海员 们 束 能 利用 它 画 出 笔直 的 航线 了。 


虽然 那 时 就 出 现 了 记录 地 理 方位 的 方法 ， 但 却 缺 乏 广 为 认可 的 标记 标 
准 ， 使 得 信息 共 至 依然 难以 实现 。 人 们 急需 一 父 标 准 的 标记 系统 ， 丈 
像 互 联网 需要 有 域名 才能 正常 运行 一 样 。 经 纬度 的 标准 化 是 一 个 漫长 
的 过 程 。 直 到 1884 年 ， 在 美国 华 # 司 顿 召 开 的 国际 子午 线 会 议 上 ，25 个 

会 国家 中 的 24 个 国家 一 致 同意 将 英格兰 格林 尼 治 定 为 本 初子 午 线 和 
零度 经 线 所 穿 过 的 地 方 (只 有 上 自命 不 几 的 法 国 投 了 弃权 票 ) 。20 世 纪 
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这 样 一 来 ， 地 理 定位 信息 终于 能 在 标准 化 的 数值 范式 下 进行 标记 、 记 
录 、 测 量 、 分 析 和 共 吝 了 。 但 是 因为 在 模拟 数据 时 代 ， 测 量 和 记录 地 
理 位 置信 息 耗 费 很 大 ， 和 人 们 很 少 执行 。 因 此 ， 发 明 能 低 成 本 测量 地 理 
方位 的 工具 人 迫在眉睫。 到 20 世 纪 70 年 代 ， 进 行 地 理 位 置 定位 还 只 能 依 
靠 地 标 、 天 文 星座 、 航 位 推测 法 和 尚 显 欠缺 的 无 线 电 定位 技术 。 


1978 年 见证 了 一 个 伟大 的 转变 ， 当 时 构成 全 球 定位 系统 (GPS) 的 24 
颗 卫 星 第 一 次 发 射 成 功 。 无 论 是 汽车 上 的 导航 系统 还 是 智能 手机 ， 地 
面 上 的 接收 妮 都 能 通过 计算 接收 信号 所 需 时 间 的 差异 对 它们 进行 三 角 
定位 ， 而 这 些 信号 就 来 自 于 距离 我 们 20372 千 米 的 天 空 。20 世 纪 80 年 
代 ， 这 个 系统 第 一 次 对 民用 开放 ， 到 90 年 代 才 完全 投入 使 用 ， 而 同时 
为 了 实现 商业 运用 ， 它 的 精确 度 在 十 年 后 得 到 了 大 幅 提 升 。 如 今 ， 全 
球 定 位 系统 的 地 理 定位 能 精确 到 米 ， 束 这 样 ， 它 实现 了 自古 以 来 无 数 
航海 家 、 制 图 家 和 数学 家 的 梦想 。 通 过 与 技术 手段 的 融合 ， 全 球 定位 
系统 能 够 快速 、 相 对 低 价 地 进行 地 理 定位 ， 而 且 不 需要 任何 专业 知 
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定位 时 时 刻 刻 都 可 能 生成 信息 。 只 要 愿意 ， 埃 拉 托 色 尼 或 者 墨 卡 托 大 
可 以 每 时 每 刻 都 对 他 们 所 处 的 位 置 进行 定位 ， 这 谁 也 管 不 着 。 但 就 算 
这 是 可 行 的 ， 也 不 现实 。 同 样 地 ， 早 期 的 接收 器 非常 复杂 和 昂 贯 ， 适 
用 于 潍 艇 而 不 是 出 租车 。 科 好， 改变 发 生 了 ， 这 多 亏 了 数字 设备 中 廉 
价 芯 片 的 普及 。GPS 导 航 的 价格 由 20 世 纪 90 年 代 的 上 百 美元 又 降 到 了 
今天 的 1 美元 以 下 。 用 GPS 进行 定位 一 般 仅 需要 几 秒 钟 的 时 间 ， 它 使 用 
的 是 标准 化 坐标 表示 法 ， 所 以 37°14'06"N 115°48'40"W 说 明 这 个 人 一 定 
是 位 于 内 华 达 州 偏远 的 51 号 区 域 (Area 51) ， 一 个 美军 超 高 安全 、 超 
级 保密 的 军事 基地 一 一 传说 那里 面 关 的 都 是 外 星人 呢 ! 


如 今 ，GPS 已 经 只 是 众多 定位 系统 中 的 一 种 了 。 中 国 和 欧洲 也 正在 人 研 
发 狐 的 卫星 定位 系统 来 与 之 抗衡 。 这 些 新 系统 通过 对 电 塔 和 无 线路 由 
器 的 信号 强度 进行 三 角 测 量 来 定位 地 理 位 置 ， 从 而 弥补 了 GPS 无 法 在 
室内 和 高 楼 之 间 进 行 定位 的 缺陷 ， 这 也 是 谷歌 、 芋 采 和 微软 需要 目 己 
研发 地 理 定 位 系统 来 辅助 GPS 的 原因 。 谷 歌 的 街景 车 (Street View 

Cars) 边 担 照 边 收 集 无 线路 由 器 信息 ; iPhone 本 身 就 是 一 个 “移动 间 

诬 ”， 一 直 在 用 户 不 知情 的 情况 下 收集 位 置 和 无 线 数据 然后 传 回 苹果 公 
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购买 汽车 保险 ， 而 不 是 只 能 根据 他 的 年 龄 、 性 别 和 履历 来 购买 年 险 。 
这 种 保险 定价 法 激励 投保 人 产生 更 好 的 行为 习惯 。 同 时 ， 这 改变 了 保 
险 的 基础 ， 从 考虑 一 个 群体 的 平均 风险 转变 为 个 性 化 的 分 析 。 通 过 汽 
车 定位 每 个 人 的 地 理 方 位 也 改变 了 一 些 固 定 资产 投入 的 模式 ， 比 方 说 
公路 和 其 他 基础 设施 可 以 让 使 用 这 些 资 源 的 司机 和 其 他 人 分 担 一 部 分 
投入 。 当 然 ， 在 实现 对 所 有 人 和 事 以 数据 形式 保持 持续 定位 之 前 ， 这 
显然 还 无 法 实现 ， 但 这 是 我 们 的 发 展 方 癌 。 


大 数据 先锋 
多 效 地 理 定位 与 UPS 的 最 佳 行车 路 径 


UPS 快 递 多 效 地 利用 了 地 理 定位 数据 。 为 了 使 总 部 能 在 车 辆 出 现 晚点 
的 时 候 跟 路 到 车 辆 的 位 置 和 预防 引 苟 故障， 它 的 货车 上 活 有 传 感 紫 、 
无 线 适配器 和 GPS。 同 时 ， 这 些 设备 也 方便 了 公司 监督 管理 员工 并 优 
化 行车 线路 。 束 像 英 里 的 图 表 是 基于 过 去 的 航海 经 验 一 样 ，UPS 为 货 
ernie Were ee Ore ace 


UPSHU it Fa FSR oe SEER (Jack Levis) WAX SAT H AA 
显著 。2011 年 ，UPS 的 车 驶 员 们 少 跑 了 近 4828 万 公里 的 路 程 ， 节 省 了 
300 万 加 仑 的 燃料 并 且 减 少 了 3 万 公 哑 的 二 氧化 碳 排放 量 。 系 统 也 设计 
了 尽量 少 左 转 的 路 线 ， 因 为 左 转 要 求 货车 在 交叉 路 口 罕 过去， 所 以 更 
容易 出 事故 。 而 旦 ， 货 车 往往 需要 等 待 一 会 儿 才 能 左 转 ， 也 会 更 耗 
油 ， 因 此 ， 减 少 左 转 使 得 行车 的 安全 性 和 效率 都 得 到 了 大 幅 提 升 。 


莱 维 斯 说 , “预测 给 我 们 知识 ， 而 知识 赋予 我 们 智慧 和 洞 见 。* 他 很 确 
信 ， 有 一 天 ， 这 个 系统 一 定 能 在 用 户 意识 到 问题 之 前 预测 到 并 有 解决 


问题 。 


AE 


数据 化 实时 位 置信 息 在 人 身上 的 运用 最 为 显著 。 多 年 来 ， 无 线 运 管 商 
通过 收集 和 分 析 这 些 信息 来 提升 移动 互联 网 的 服务 水 平 。 不 过 ， 这 些 
数据 越 来 越 多 地 被 用 于 其 他 事情 上 ， 第 三 方 也 开始 利用 这 些 数据 来 提 
供 新 的 服务 。 比 方 说 ， 一 些 智能 手机 的 应 用 程序 也 不 管 它 本 号 是 否 具 
有 定位 功能 ， 就 收集 位 置信 息 ; 还 有 一 些 应 用 程序 就 是 为 了 获得 用 户 
的 位 置信 息 而 存在 的 ， 比 如 Foursquare， 它 让 用 户 在 最 喜爱 的 地 

方 “check in”， 通 过 忠诚 度 计 划 、 酒 店 推荐 和 “check in” 地 点 附近 的 其 他 
推荐 而 获得 好 处 。 


毋庸 置疑 ， 收 集 用 户 地 理 位 置 数 据 的 能 力 已 经 变 得 极其 具有 价值 。 从 
个 人 层面 上 来 说 ， 根 据 他 所 居住 的 地 点 和 他 要 去 的 地 方 的 预测 数据 ， 

可 以 为 他 提供 定制 广告 。 而 且 ， 这 些 信息 汇集 起 来 可 能 会 揭示 事情 的 
发 展 趋势 。# 比 方 说 ， 公 司 可 以 利用 大 量 的 位 置 数 据 预 测 交 通 情况 ， 
你 也 许 无 法 想象 ， 这 是 通过 高 速 公 路 上 的 手机 而 不 是 汽车 的 数量 和 移 
动 速度 预测 出 来 的 。AirSage 每 天 通过 处 理 来 日 上 百 万 手机 用 户 的 150 
亿 条 位 置信 息 ， 为 超过 100 个 美国 城市 提供 实时 交通 信息 。 其 他 两 个 位 
置 数据 服务 商 Sense Networks 和 Skyhook 使 用 位 置 数据 揭示 城市 夜生活 
最 迷 宋 的 地 方 或 者 游行 队伍 聚集 了 多 少 人 。 


不 过 ， 位 置 数据 在 商业 以 外 的 用 途 或 许 才 是 最 重要 的 。 麻 省 理工 学 院 
媒体 实验 室 人 类 动力 学 实验 室 主 任 亚历山大 : 绢 特 兰 (Alexander 
“Sandy”Pentland) 和 他 的 学 生 南 森 : 伊 格 尔 (Nathan Eagle) 是 所 谓 

的 “现实 挖 扬 * 研 究 的 先驱 。“ 现 实 挖 据 * 这 里 指 的 是 通过 处 理 大 量 来 自 
手机 的 数据 ， 发 现 和 预测 人 类 行为 。 在 一 项 研究 中 ， 他 们 通过 分 析 
个 人 去 了 哪里 、 见 了 谁 ， 成 功 地 区 分 出 了 感染 了 流感 的 人 群 ， 而 且 在 
感染 者 还 完全 不 知道 日 己 已 经 患 病 之 前 束 做 出 了 区 分 。 如 果 出 现 非 常 
严重 的 流感 疫情 ， 这 可 以 挽救 无 数 人 的 生命 ， 因 为 我 们 会 知道 应 该 隔 
离 谁 ， 而 且 随 时 都 知道 去 哪里 找到 他 。 但 是 这 些 数据 一 旦 落 入 坏人 之 
手 ， 后 末 将 不 卉 设想 ， 这 个 问题 我 们 将 在 后 文中 继续 讨论 。 


伊 格 尔 是 无 线 数据 科技 公司 Jana 的 创始 人 ， 他 使 用 了 来 目 100 多 个 国家 
的 超过 200 个 无 线 运 宫 商 的 手机 数据 一 一 窗 盖 了 拉丁 美洲 、 非 洲 、 欧 洲 
的 大 约 35 亿 人 口 。 伊 格 尔 的 研究 既 关 注 家 庭 主 妇 平 均 每 周 去 几 次 洗衣 
店 这 样 的 肥 电 问题 ， 也 试图 回答 关于 疾病 如 何 传播 和 城市 如 何 演 宋 这 
样 的 重大 问题 。 在 一 项 研究 中 ， 他 和 同事 结合 分 析 了 非洲 预付 费用 户 
的 位 置信 息 和 他 们 账户 的 资费 金额 ， 发 现 资费 与 收入 成 正比 ， 越 富有 
的 人 一 次 性 预付 费 越 多 。 然 而 ， 他 们 还 得 出 了 一 个 与 直觉 判断 相反 的 


结果 ， 那 就 是 贫民 窒 不 仅仅 古永 恒 不 变 的 贫困 中 心 ， 还 是 经 济 繁 采 的 
跳板 。 关 键 束 在 于 ， 我 们 要 意识 到 这 都 症 手 机 所 提供 的 位 置信 息 的 间 
接 利 用 ， 而 和 移动 通信 目 喘 业务 没有 丝 台 关 系 ， 但 是 这 些 数据 最 初 叉 
征 为 了 更 好 地 开展 移动 通信 而 生成 的 。 总 之 ， 位 置信 息 一 被 数据 化 ， 

新 的 用 途 束 犹如 十 后 春 禾 般 涌现 出 来 ， 而 新 价值 也 会 随 之 不 断 催生 。 


当 沟 通 变 成 数据 


数据 化 的 男 一 个 前 沿 更 加 个 人 化 ， 直 接触 措 到 了 我 们 的 关系 、 经 历 和 
情感 。 数 据 化 的 构思 是 许多 社交 网 络 公 司 的 兰 染 。 社 交 网 络 平台 不 仅 
给 我 们 提供 了 寻找 和 维持 朋友 、 同 事 关 系 的 场所 ， 也 将 我 们 日 常生 活 
的 无 形 元 素 提 取出 来 ， 再 转化 为 可 作 新 用 途 的 数据 。 正 因此 ， 
Facebook 将 关系 数据 化 一 一 社交 关系 在 过 去 一 直 被 视 作 信息 而 存在 ， 
但 从 未 被 正式 界定 为 数据 ， 直 到 Facebook“ 社 交 图 谱 ” 的 出 现 。Twitter 
通过 创新 ， 让 人 们 能 轻易 记录 以 及 分 享 他 们 零散 的 想法 (这 些 在 以 
前 ， 都 会 成 为 遗忘 在 时 光 中 的 人 肆 片 )， 从 而 使 情绪 数据 化 得 以 实现 。 
LinkedIn 将 我 们 过 去 漫长 的 经 历 进 行 了 数据 化 处 理 ， 就 像 英 里 转化 旧 
航海 日 志 那 样 ， 把 信息 转化 为 对 现在 和 将 来 的 预测 :我们 可 以 认识 
谁 ， 或 者 哪里 存在 一 份 心仪 的 工作 。 


然而 ， 数 据 的 使 用 还 远 未 成 熟 。 了 束 Facebook 的 情况 来 说 ， 因 为 知道 太 
早泄 露 用 户 数 据 的 许多 新 用 途 会 让 用 户 反应 过 激 ， 所 以 它 精 明 地 选择 
了 忍耐 。 男 外 ， 公 司 仍然 在 为 其 收集 的 数据 数量 和 类 型 ， 包 括 隐 私 问 
题 进 行商 业 模 式 和 政策 上 的 调整 。 目 前 ， 它 所 面 对 的 指责 都 集中 在 能 
采集 到 什么 ， 而 并 非 它 实际 用 这 些 数 据 干 了 什么 。 


大 数据 的 力量 


Facebook2012 年 拥有 大 约 10 亿 用 户 ， 他 们 通过 上 千 亿 的 朋友 关系 网 相 
互 连 接 。 这 个 巨大 的 社交 网 络 履 盖 了 大 约 10% 的 全 球 总 人 口 。&@ 想 想 
这 所 有 的 关系 和 活动 在 数据 化 之 后 都 为 一 家 公司 所 掌控 ， 这 些 指责 和 
质疑 加 不 能 算 作 空穴来风 。 


不 可 否认 ， 其 半 在 用 途 非 比 寻常 。 一 些 消费 者 信贷 领域 的 创业 公司 正 
著 虚 开发 以 Facebook 社 交 图 详 为 依据 的 信用 评分 。FICO， 信 用 评分 系 
统 ， 利 用 15 个 变量 来 预测 单个 借贷 者 是 否 会 偿还 一 笔 债务 。 但 一 家 获 
得 了 高 额 风 险 投资 的 创业 公司 (很 遗憾 这 里 必须 匿名 ) 的 一 项 内 部 研 
究 显 示 ， 个 人 会 偿还 债务 的 可 能 性 和 其 朋友 会 偿还 债务 的 可 能 性 呈正 
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相关 。 正 应 了 一 句 老 话 : 物 以 类 聚 ， 人 以 群 分 。 因 此 ，Facebook 也 可 
以 成 为 下 一 个 FICO。 显 然 ， 社 交 媒 体 上 的 大 量 数据 也 许 能 形成 放飞 想 
象 的 新 型 商务 基础 ， 其 意义 远 不 止 表 面 上 我 们 看 到 的 照片 分 享 、 状 态 
上 传 以 及 “喜欢 ”按钮 。 


同样 ，Twitter 也 已 经 开辟 了 其 数据 的 新 用 途 。 从 某 种 程度 上 说 ，2012 
年 超过 1.4 亿 用 户 每 天 发 送 的 4 人 条 微 博 几乎 丈 和 随意 的 口头 零碎 差 不 
Bo EXE, ECR REM e AM, Twitter a] See TAE 
法 、 情 绪 和 沟通 的 数据 化 ， 这 些 都 是 以 前 不 曾 实现 的 。Twitter 与 两 家 
公司 ，DataSift 和 Gnip 达 成 了 一 项 出 售 数据 访问 权限 的 协议 。 甸 许多 公 
司 对 微 博 做 了 句法 分 析 ， 有 时 还 会 使 用 一 项 叫 作 情感 分 析 的 技术 ， 以 
获得 顾客 反馈 意见 的 汇总 或 对 营销 活动 的 效果 进行 判断 。 


两 家 对 冲 基金 ， 伦 敦 的 英国 对 冲 基 金 (Derwent Capital) 和 加 利 福 尼 
亚 的 MarketPsych 开 始 分 析 微 博 的 数据 文本 ， 以 作为 股市 投资 的 信号 

(他 们 从 未 公开 目 己 的 商业 秘 决 ， 也 不 知道 是 倾向 于 投资 势头 良好 的 
公司 还 是 做 空 ) 。 两 家 公司 现在 都 在 向 经 商 者 出 售 信息 。 就 
MarketPsych 而 言 ， 它 与 Thomson Reuters 合 作 提供 了 分 布 在 119 个 国家 
不 低 于 18864 项 的 独立 指数 ， 比 如 每 分 钟 更 新 的 心情 状态 ， 如 乐观 、 忧 
郁 、 快 乐 、 害 怕 、 生 气 ， 甚 至 还 包括 创新 、 诉 讼 及 冲突 情况 等 。 


数据 被 人 类 利用 的 频率 远 没 有 被 计算 机 利用 得 多 。 以 “金融 工程 师 ” 而 
闻名 的 华尔街 的 数学 奇才 们 ， 将 数据 传输 到 了 他 们 的 算法 模式 当中 ， 
来 寻找 能 被 有 歼 利 用 并 实现 顾 利 的 隐 性 联系 。 根 据 “ 社 区 网 络 分 析 之 
LDU RAZ WG = (Bemardo Huberman) 呈 的 分 析 ， 微 博 中 单一 主 
题 出 现 的 频率 可 以 用 来 预测 很 多 事情 ， 比 如 好 莱 翅 的 票房 收入 。 他 和 
一 位 在 惠普 实验 室 工 作 的 同事 开发 了 一 个 程序 ， 可 以 用 来 监听 新 微 博 
的 发 布 频 率 ， 基 于 此 ， 他 们 就 能 预测 一 部 电影 的 成 败 ， 这 往往 比 其 他 
传统 评估 预测 方法 还 要 准确 。 


这 些 数据 的 用 途 不 胜 枚 举 。Twitter 微 博 限 制 在 稀少 的 140 个 字符 中 ， 但 
与 每 条 微 博 联系 在 一 起 的 元 数据 是 十 分 丰富 的 。Twitter 的 元 数据 ， 

即 “ 关 于 信息 的 信息 ”， 其 中 包括 33 个 分 离 的 项 。 虽 然 一 部 分 信息 似乎 

并 没 多 大 用 处 ， 比 如 Twitter 用 户 界 面 上 的 “墙纸 ”或 用 户 用 来 访问 这 项 

服务 的 软件 ， 但 其 他 的 元 数据 却 很 有 意思 ， 比 如 他 们 参与 服务 所 使 用 

的 语言 、 所 处 的 地 理 位 置 、 关 注 的 人 以 及 粉丝 的 数量 和 名 字 。2011 年 

4 科学》 杂志 上 的 一 项 研究 显示 ， 来 目 世 界 上 不 同文 化 育 景 的 人 们 每 


天 、 每 周 的 心情 都 齐 循 看 相似 的 模式 ， 这 项 研究 建立 在 两 年 多 来 对 84 
个 国家 240 万 人 的 5.09 亿 条 微 博 的 数据 分 机 上 ， 这 在 以 前 是 完全 无 法 做 
到 的 。 情 绪 真 的 已 经 被 数据 化 了 。 


数据 化 不 仅 能 将 态度 和 情绪 转变 为 一 种 可 分 析 的 形式 ， 也 可 能 园 化 人 
ee 
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大 数据 先锋 
微 博 关 联 与 疫苗 接种 


KA IKE EIN SL KAYE Oy PRS SEK WEL (Marcel Salathé) 
AEE THEM IAME (Shashank Khandelwal) 通过 分 析 微 博 
发 现 ， 人 们 对 于 疫 盏 的 态度 与 他 们 实际 注射 预防 流感 药物 的 可 能 呈现 
出 相关 性 。 重 要 的 是 ， 他 们 利用 Twitter 用 户 中 谁 和 谁 相关 的 元 数据 进 
行 了 更 进一步 的 调查 ， 发 现 未 接种 疫 盏 的 子 人 群 也 可 能 存在 。 当 然 ， 
这 项 研究 的 特别 之 处 在 于 ， 不 同 于 如 谷歌 预测 流感 趋势 时 利用 汇总 数 
据 考 虑 一 个 地 区 人 口 的 “平均 ”健康 状况 ， 院 拉 特 开展 的 情绪 分 析 实 际 
上 揭示 了 个 人 的 卫生 行为 。 


这 些 早 期 的 发 现 预 示 了 数据 化 将 走向 何方 。 和 谷歌 一 样 ， 一 些 社交 网 
络 (Facebook, Twitter, LinkedIn, Foursquare) 坐 拥 了 大 型 数据 的 
宝藏 ， 一 旦 这 些 数据 信息 得 到 了 深入 分 析 ， 它 们 残 能 轻易 获得 社会 各 
行 各 业 以 及 三 教 九 流 的 几乎 所 有 的 动态 信息 。 


世间 万 物 的 数据 化 


只 要 一 点 想象 ， 万 二 事物 驶 能 转化 为 数据 形式 ， 并 一 直 市 给 我 们 恢 

襄 。IBM 获 得 的 “触感 技术 先导 ”专利 与 东 和 泵 的 越 水 重臣 教授 对 辟 部 的 
研究 工作 具有 相同 理念 。 知 识 产 权 律 师 称 那 是 一 块 触 感 灵敏 的 地 板 ， 

忠 像 一 个 巨大 的 六 能 手机 屏幕 。 其 潜在 的 用 途 十 分 广泛 。 它 能 分 辨 出 
放置 其 上 的 物品 。 它 的 基本 用 途 束 是 适时 地 开 灯 和 开 | ]。 然 而 更 重要 
的 是 ， 它 能 通过 一 个 人 的 体重 、 站 姿 和 走路 方式 确认 他 的 喘 份 。 它 还 
能 知道 菏 人 在 控 倒 之 后 是 否 一 直 没有 站 起 来 。 有 了 它 ， 和 零售 商 可 以 知 
道 商店 的 人 流量 。 当 地 板 数据 化 了 的 时 候 ， 它 薄 能 滋生 无 穷 无 尽 的 用 
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子 以 及 技术 狂人 发 起 的 运动 ， 通 过 测量 身体 的 每 一 个 部 位 和 生活 中 的 
每 一 件 事 来 让 生活 更 美好 一 一 或 者 至 少 用 量化 的 方式 来 获得 新 知 。 目 
前 ， 目 我 量化 运动 规模 还 很 小 ， 但 正在 日 益 壮 大 。 


随 着 智能 手机 和 计算 机 技术 的 普及 ， 对 个 人 最 重要 的 生活 行为 进行 数 
据 处 理 从 未 如 现在 这 般 容 易 。 许 多 创业 公司 通过 测量 人 们 夜间 的 脑 电 
波 来 试图 找 出 他 们 的 睡 眼 模 式 。Zeo 公 司 则 早已 制作 出 了 世界 上 最 大 
的 睡 眼 活动 数据 库 ， 揭 示 了 男性 与 文 性 睡眠 时 快速 眼 动量 的 差异 。 
Asthmapolis 公 司 将 一 个 感应 右 绑 定 到 哮喘 病人 佩戴 的 呼吸 右上 ， 通 过 
GPS 定位 ， 再 汇总 收集 起 来 的 位 置 数据 ， 可 以 判断 环境 因素 (如 接近 
特定 的 农作物 ) 对 哮喘 的 影响 。Fitbit 和 Jawbone 公 司 让 人 们 测量 他 们 
的 体力 活动 和 睡眠 。Basis 公 司 用 腕 市 来 监测 佩戴 者 的 生命 体征 ， 包 括 
其 心率 和 皮肤 电 传 导 率 ， 以 此 测试 他 们 所 承受 的 压力 。2009 年 ， 苹 果 
公司 就 申请 了 一 项 专利 ， 通 过 音频 耳塞 收集 关于 血液 氧 合 、 心 率 和 体 
温 的 数据 。 获 取 数 据 正 变 得 比 以 往 任何 时 候 都 简单 而 不 受 限制 。 


数据 化 能 帮助 我 们 获取 到 更 多 关于 人 体 运 作 方 式 的 信息 。 挪 威 耶 维 克 
大 学 的 研究 人 员 和 Derawi Biometrics 公 司 联 合 为 智能 手机 开发 了 一 款 
应 用 程序 ， 可 以 分 析 人 走路 时 的 步伐 并 将 其 作为 手机 解锁 的 安全 系 
统 。 同 时 ， 佐 治 亚 理工 学 院 的 罗伯特 . 德 拉 诺 (Robert Delano) 和 布 莱 
RYKKE (Brian Parise) 开发 了 一 球 叫 做 iTrem 的 应 用 程序 ， 用 手机 
内 置 的 测 震 仪 监测 人 身体 的 颤动 ， 以 应 对 由 金森 和 其 他 神经 系统 疾 
病 。 这 个 程序 给 医生 和 病人 都 融 来 了 好 处 ; 它 让 患者 避免 了 在 医院 做 
昂贵 的 体检 ， 也 让 医学 专家 们 能 远程 监控 人 们 的 疾病 以 及 治疗 效果 。 
据 东 京 的 调查 人 员 说 ， 用 智能 手机 测量 震动 虽然 没有 三 轴 测 震 仪 这 种 
专门 的 医疗 恬 械 那么 精确 ， 但 也 只 差 了 一 点 ， 所 以 完全 可 以 放心 使 
用 。 这 再 一 次 证 明 ， 一 点 点 的 不 精确 比 完全 精确 更 有 歼 。 


在 大 多 数 情况 下 ， 我 们 会 采集 信息 并 将 之 存储 为 数据 形式 再 加 以 利 

用 。 几 乎 所 有 领域 ， 任 何事 情 都 能 这 样 处 理 。GreenGoose 是 一 家 创业 
公司 ， 他 们 销售 能 放置 在 物品 上 的 微型 运动 感应 如 ， 用 它 监测 物品 的 
使 用 次 数 。 比 如 把 它 放 置 在 一 捆 牙 线 、 一 个 酒水 壶 或 者 一 盒 猫 食 上 ， 
号 能 数据 化 牙齿 清洁 、 植 物 护理 以 及 宠物 喂养 的 信息 。 很 多 人 对 “ 物 联 
网 ”有 着 宗教 般 的 狂热 ， 试 图 在 一 切 生 活 中 的 事物 中 都 植 入 芯片 、 传 感 
故 和 通信 模块 。 这 个 词 听 起 来 好 像 和 互联 网 亲 如 姐妹 ， 其 实 不 过 是 一 
种 典型 的 数据 化 手段 去 了 。 


大 数据 洞察 


一 旦 世界 被 数据 化 ， 就 只 有 你 想不到 ， 而 没有 信息 做 不 到 的 事情 了 。 
莫 里 通过 艰 闻 的 人 工分 析 才 揭示 了 隐藏 在 数据 中 的 价值 ， 而 今天 ， 拥 
有 了 数据 分 析 的 工具 〈 统 计 学 和 算法 ) 以 及 必需 的 设备 (eb eas 
和 存储 器 ) ， 我 们 就 可 以 在 更 多 领域 、 更 快 、 更 大 规模 地 进行 数据 处 
理 了 。 在 大 数据 时 代 ， 惊 喜 无 处 不 在 ! 


我 们 正在 进行 一 个 重大 的 基础 设施 项 目 ， 它 在 某 种 程度 上 与 我 们 过 去 
所 做 的 都 不 一 样 ， 无 论 是 罗马 的 水 渠 还 是 局 蒙 运动 时 期 的 百科 全 书 。 
它 如 此 的 新 颖 ， 而 我 们 又 深 处 其 中 ;， 同时， 又 因为 它 是 无 形 的 ， 不 像 
水 渠 中 能 触摸 到 的 水 ， 所 以 我 们 并 未 意识 到 它 的 存在 。 这 个 它 ， 殉 是 
ee 
s ora o 


水 渠 让 城市 的 发 展 成 为 可 能 ， 印 刷机 推进 了 启蒙 运动 ， 报 纸 为 民族 国 
家 的 兴起 呐 定 了 基础 。 但 这 些 基础 设施 都 侧重 于 流动 一 一 天 于 水 、 关 
于 知识 。 电 话 和 互联 网 也 是 如 此 。 相 比较 而 言 ， 数 据 化 代表 着 人 类 认 
识 的 一 个 根本 性 转变 。 有 了 大 数据 的 帮助 ， 我 们 不 会 再 将 世界 看 作 是 
一 连 串 我 们 认为 或 是 目 然 或 是 社会 现象 的 事件 ， 我 们 会 意识 到 本 质 上 
世界 是 由 信息 构成 的 。 


整整 一 个 多 世纪 以 来 ， 物 理学 家 们 一 直 宣称 情况 应 该 是 这 样 的 一 一 并 
非 原 子 而 是 信息 才 是 一 切 的 本 源 。 包 不 可 否认 ， 这 也 许 听 上 去 无 法 理 
解 。 然 而 通过 数据 化 ， 在 很 多 情况 下 我 们 束 能 全 面 采集 和 计算 有 形 物 
质 和 无 形 物 质 的 存在 ， 并 对 其 进行 处 理 。 


将 世界 看 作 信息 ， 看 作 可 以 理解 的 数据 的 海洋 ， 为 我 们 提供 了 一 个 从 
SE 


大 数据 洞察 


今天 ， 我 们 生活 在 一 个 计算 型 的 社会 ， 因 为 我 们 相信 世界 可 以 通过 奖 
字 和 数学 而 获得 解释 。 我 们 也 相信 知识 可 以 跨越 时 空 。 事 实 上 ， 我 们 
对 书写 还 存在 着 一 种 根深 蒂 固 的 敬 恨 。 明 天 ， 我 们 的 下 一 代 ， 一 群 
外 Q“ 大 数据 观念 ”陶冶 长 大 的 家 伙 ， 会 发 日 肺脏 地 认为 “量化 一 切 ” 并 从 
中 学 习 对 于 社会 是 至 关 重 要 的 。 把 各 种 各 样 的 现实 转化 为 数据 ， 对 今 


_— 


oe 但 这 将 变 成 如 同 
吃饭 睡觉 一 样 与 生 俱 来 的 能 “数据 ”这 个 词语 的 
拉丁 语 原意 。 


述 早 有 一 天 ， 数 据 化 的 影响 会 使 水 汇 和 报纸 的 影响 微乎其微 ， 同 时 ， 
通过 赋予 人 类 数据 化 世间 万 物 的 工具 ， 它 也 对 印刷 机 和 互联 网 的 地 位 
提出 了 挑 成 。 可 是 目前 ， 它 最 主要 的 用 偿还 是 在 商业 领域 。 大 数据 正 
被 用 来 创造 新 型 价值 ， 这 也 是 下 一 章 的 主题 。 


[1] 一 种 在 线 储 交 网 络 ， 其 典型 营销 方式 吓 ， 一 旦 你 加 入 了 ， 系 统 会 

动 从 你 注册 或 关联 的 邮箱 中 找到 联系 人 ， 并 发 信 六 请 他 们 加 入 。 很 多 

sles 必 该 都 收 到 过 LinkedIm 的 邀请 信 ， 束 是 一 个 典型 的 例子 。 一 一 详 
i 


[2] KIA 7B ed R TAN, JE RUE AAC EIR AA, AWRA 
可 能 会 加 剧 有 罗马 数字 在 西方 的 盛行 。 一 一 作者 广 


[3] 所 谓 复式 记 账 法 ， 是 指 以 资产 与 权益 平衡 关系 作为 记 账 基础 ， 对 于 
每 一 项 经 济 业务 ， 都 要 在 两 个 或 两 个 以 上 的 账户 中 相互 联系 进行 登 
记 ， 系统 地 反映 资金 运动 变化 结果 的 一 种 记 账 方法 。 复 式 记 账 的 理论 
依据 是 会 计 基本 等 式 ， 即 “资产 = 负债 + 所 有 者 权益 ”。 一 一 译 者 注 


[4] 文化 组 学 英文 叫做 culturomics， 是 “文化 ”和 “基因 组 学 ”两 个 词 的 合 
并 。 本 书 中 提 到 的 哈佛 研究 组 是 文化 组 学 最 早 的 倡导 者 ， 其 核心 人 员 
艾 略 效 . 利 波 曼 . 埃 顿 (Erez Lieberman Aiden) 以 前 是 研究 基因 组 学 
的 。 一 一 译 考 注 


[5] 出 现 一 次 是 出 现 ， 出 现 一 亿 次 也 是 出 现 。 虽 然 有 一 半 以 上 的 词 都 是 
新 词 怪 词 ， 但 这 些 词语 出 现 的 频率 很 低 ， 很 多 整 只 出 现 一 两 次 ， 

而 “the” 这 个 单词 加 出 现 了 数 百 亿 次 。 所 以 说 ， 绝 大 部 分 单词 还 是 我 们 
认识 的 。 一 一 译 者 注 


[6] 由 于 是 犹太 人 ， 他 的 很 多 作品 都 被 得 封 了 。 一 一 作者 注 


[7] 通过 记录 和 分 析 北 京 市 出 租车 两 年 的 GPS 数据 ， 微 软 亚洲 研究 院 的 
谢 幸 及 其 同事 可 以 同 司 机 提供 不 同时 段 的 最 佳 出 行路 线 aE 


[8] 人 类 动力 学 是 一 门 典型 的 大 数据 驱动 的 定量 化 学 科 ， 它 关注 人 类 行 
为 在 时 间 和 空间 上 表现 出 来 的 统计 规律， 以 及 对 这 些 统计 规律 的 理论 
解释 和 在 行为 预测 与 控制 上 的 应 用 。 科 学 出 版 社 2012 年 出 版 的 《社会 
BIE) SAO EERE TREE BCAA, TRSH- 
一 一 译 者 


[9] 有 部 分 人 在 Facebook 上 拥有 多 于 一 个 账户 。 一 -一 译 者 注 
real 有 微 博 都 是 公开 有 的， 对 “firehose” 的 访问 却 需 要 付费 。 一 一 
y 


[11] URAS StS RERE AE aA RRR 
—, BÆRENE MIR RSE BEE eS o E1127 AAT 
候 ，J.A. 巴 恩 斯 (J.A.Barnes) 已 经 开始 系统 研究 社交 关系 ， 并 使 用 了 
社会 网 络 这 个 概念 ， 他 10 岁 到 14 岁 阶段 ， 正 是 兰 普 珀 特 

(A.Rapoport) 发 展 关 于 社交 网 络 上 信息 和 资源 如 何 扩散 、 哪 些 因素 
导致 了 社交 关系 的 形成 、 如 何 用 随机 网 络 和 其 他 数学 方法 刻画 社交 网 
络 等 一 系列 研究 的 关键 时 间 ， 比 哈 柏 曼 更 资深 、 更 有 影响 力 的 社交 网 
络 学 者 还 有 很 多 ， 壁 如 林 顿 .C: 弗 里 曼 (Linton Freeman) ` Hw 
诺 维 特 (Mark Granovetter) 等 。 社 交 网 络 之 父 这 顶 帽 子 芍 人 不 应 该 戴 
在 他 的 头 上 ， 尽 管 他 坚 无 疑问 是 非常 杰出 的 科学 家 。 HAE 


[12] 通过 阅读 Toyabe 等 人 在 《 目 然 .物理 》 上 发 表 的 名 为 Experimental 
demonstration of information-to-energy conversion and validation of the 
generalized Jarzynski equality” 一 文 必 会 加 深 读者 对 该 问题 的 理解 。 

译 者 注 


05 价值 : ZAR, AZ Me’ WAGES 


数据 就 像 一 个 神奇 的 名 全 从 ， oo oe 
予 。 它 的 真实 价值 束 像 漂浮 在 海洋 中 的 冰山 ， 第 一 眼 只 能 看 到 冰山 的 
一 角 ， 而 绝 大 部 分 都 隐藏 在 表面 之 下 。 


【大 数据 先锋 】 

IBM， 电 动 汽车 动力 与 电力 供应 系统 优化 预测 
Hitwise， 通 过 流量 判断 消费 者 喜好 

亚马逊 ， 让 数据 的 价值 再 大 一 点 

移动 运营 商 与 数据 再 利用 

合 歌 街景 与 GPS 玉 集 
微软 与 谷歌 的 拼写 检查 

谷歌 ， 从 大 的 “噪音 ”数据 中 受益 
巴 诺 与 NOOK 快 照 

在 线 教育 课程 ， 找 到 最 合适 阅读 的 论坛 帖子 
Facebook, 从 66 亿 到 1040 亿 
DataMarket 与 InfoChimps， 提 供 免费 与 付费 数据 


ReCaptcha 与 数据 再 利用 


20 世 纪 90 年 代 后 期 ， 网 络 逐 渐变 得 拥堵 起 来 。 有 人 开发 了 一 球 名 
pambots Hy， 癌 成 干 上 万 名 用 户 批量 发 送 广 告 
信息 ， 淹 没收 件 人 的 电子 邮箱 。 他 们 会 在 各 种 网 站 上 注册 ， g 
论 部 分 留 下 成 百 上 千 条 广告 。 网 络 因此 成 了 一 个 不 守 规矩 、 不 受 
迎 、 不 够 友善 的 地 方 。 而 且 ， 这 各 软件 似 平 打破 了 网 络 原 有 的 开放 性 
和 易 用 性 模式 ， 要 知道 ， 正 是 这 种 模式 同人 们 提供 了 各 种 便利 ， 比 如 


免费 电子 邮件 。 当 特 玛 捷 这 一 类 公司 根据 “ 先 到 先 服务 ”的 原则 提供 注 
Maal ER EV RRAN, (ERR CE Ss fi an eB EEA AZ 
前 ， 将 门票 全 部 买 下 。 


2000 年 ，22 岁 大 学 刚 毕 业 的 路 易 斯 : 冯 : 安 (Luis Von Ahn) 提出 了 解决 
这 个 问题 的 想法 : 要求 注 册 人 提供 真实 身份 证 明 。 他 试图 找 出 一 些 人 
类 容易 辨别 但 对 机 器 来 说 却 很 难 的 东西 ， 最 后 他 想到 了 一 个 办 法 ， 即 
在 注册 过 程 中 显示 一 些 波浪 状 、 辨 识 度 低 的 字母 。 人 能 够 在 几 秒 钟 内 
识别 并 输入 正确 的 文本 信息 ， 但 电脑 却 可 能 会 被 难 倒 。 雅 虎 采 用 了 这 
个 方法 以 后 ， 一 夜 之 间 就 减轻 了 垃圾 邮件 带 来 的 音 恼 。 汉 : 安 将 他 的 这 
一 创作 称 为 验证 码 (全 称 为 “全 自动 区 分 计算 机 和 人 类 的 图 灵 测 

w) 。 五 年 后 ， 每 天 约 有 2 亿 的 验证 码 被 用 户 输入 。 


这 一 切 给 冯 . 安 这 位 家 里 经 营 糖果 厂 的 危地马拉 人 带 来 了 相当 高 的 知名 
度 ， 使 他 能 够 在 取得 博士 学 位 后 进入 卡 内 基 梅 隆 大 学 工作 ， 教 授 计算 
机 科学 ; 也 使 他 在 27 岁 时 获得 了 50 万 美元 的 麦克 阿 瑟 基金 会 “天才 
奖 ”。 但 是 ， 当 他 意识 到 每 天 有 这 么 多 人 要 浪费 10 秒 钟 的 时 间 输入 这 堆 
pe 
很 聪明 。 


于 是 ， 他 开始 寻找 能 使 人 的 计算 能 力 得 到 更 有 效 利用 的 方法 。 他 想到 
了 一 个 继任 者 ， 愉 如 其 分 地 将 其 命名 为 ReCaptcha。 和 原 有 随机 字母 输 
入 不 同 ， 人 们 需要 从 计算 机 光学 字符 识别 程序 无 法 识别 的 文本 扫描 项 
目 中 读 出 两 个 单词 并 输入 。 其 中 一 个 单词 其 他 用 户 也 识别 过 ， 从 而 可 
以 从 该 用 户 的 输入 中 判断 注册 者 是 人 ; 另 一 个 单词 则 是 有 行 辨 识 和 解 
疑 的 新 词 。 为 了 保证 准确 度 ， 系 统 会 将 同一 个 模糊 单词 发 给 五 个 不 同 
的 人 ， 直 到 他 们 都 输入 正确 后 才 确 定 这 个 单词 是 对 的 。 在 这 里 ， 数 据 
的 主要 用 途 是 证 明 用户 是 人 ， 但 它 也 有 第 二 个 目的 : 破译 数字 化 文本 
中 不 清楚 的 单词 。ReCaptcha 的 作用 得 到 了 认可 ，2009 年 谷歌 收购 了 冯 
` 安 的 公司 ， 并 将 这 一 技术 用 于 图 书 扫描 项 目 。 


大 数据 的 力量 


与 雇用 人 所 需要 花费 的 成 本 相 比 较 ， 它 释放 出 的 价值 是 非常 巨大 的 。 
每 天 完成 的 ReCaptcha 超 过 2 亿 ， 按 平均 每 10 秒 输入 一 次 的 话 ， 一 天 加 
起 来 一 共 是 50 万 个 小 时 ， 而 2012 年 美国 的 最 低 工 资 是 每 小 时 7.25 美 

元 。 从 市 场 的 角度 来 看 ， 解 疑 计 算 机 不 能 识别 的 单词 每 天 需要 花费 约 


350 万 美元 ， 或 者 说 每 年 需要 人 花费 10 亿 多 美元 。 冯 : 安 设计 的 这 个 系统 
做 到 了 这 一 点 ， 并 且 ， 没 有 伦 一 分 钱 。 


ReCaptcha 的 故事 强调 了 数据 再 利用 的 重要 性 。 随 着 大 数据 的 出 现 ， 数 
据 的 价值 正在 发 生变 化 。 


大 数据 洞察 


在 数字 化 时 代 ， 数 据 文 持 交 易 的 作用 被 掩盖 ， 数 据 只 是 被 交 易 的 对 
象 。 而 在 大 数据 时 代 ， 事 情 再 次 发 生变 化 。 数 据 的 价值 从 它 最 基本 的 
和 途 转 变 为 未 来 的 潜在 用 途 。 这 一 转变 意义 重大 ， 它 影响 了 企业 评估 
其 拥有 的 数据 及 访问 者 的 方式 ， 促 使 甚至 是 迫使 公司 改变 他 们 的 商业 
模式 ， 同 时 也 改变 了 组 织 看 竺 和 使 用 数据 的 方式 。 


言 轧 对 于 市 场 交 易 而 言 是 必 不 可 少 的 。 数 据 使 价格 发 现成 为 可 能 ， 比 
如 众所周知 的 一 点 ， 它 是 决定 生产 数量 的 信号 。 一 些 特殊 类 型 的 信息 
也 早已 在 市 场 上 交易 ， 如 书籍 、 文 章 、 音 乐 、 电 影 以 及 金融 信息 (如 
股票 价格 ) 等 。 这 些 在 过 去 的 几 十 年 中 已 经 通过 个 人 数据 加 入 数据 
库 。 美 国 的 专业 数据 经 纪 人 ， 如 安 客 诚 (Acxiom) 、 益 百 利 和 艾 可 飞 
(Equifax) 等 ， 专 门 负责 从 数 亿 名 消费 者 中 收集 个 人 信息 加 入 综合 档 
案 。 随 着 Facebook、Twitter、LinkedIn、Foursquare 等 社交 平台 的 出 
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大 的 个 人 信息 库 中 。 


总 之 ， 尽 管 数据 长 期 以 来 一 直 征 有 价值 的 ， 但 通常 只 是 被 视 为 附属 于 
企业 经 营 核 心 业务 的 一 部 分 ， 或 者 被 归 入 知识 产权 或 个 人 信息 中 相对 
狭 罕 的 类 别 。 但 在 大 数据 时 代 ， 所 有 数据 都 十 有 价值 的 。 


这 里 所 说 的 “所 有 数据 ”包含 了 那些 最 原始 的 、 看 似 最 平 几 的 信息 单 

位 。 想 一 想 工厂 机 器 上 热 传 感 融 的 读数 ，GPS 坐 标 上 的 实时 数据 流 ， 
某 一 辆 或 者 60000 辆 车 的 加 速度 传 感 天 读数 和 燃料 水 平 。 再 想 想 数 十 亿 
旧 的 搜索 查询 ， 或 者 过 去 数 年 美国 每 趟 商务 航班 上 每 个 座位 的 价格 。 


但 是 ， 直 到 目前 仍然 没有 一 个 简单 的 方法 来 收集 、 存 储 和 分 析 这 些 数 
据 ， 这 严重 限制 了 提取 其 潜在 价值 的 机 会 。 在 亚当 :斯 密 论 述 18 世 纪 宛 
动 分 工时 所 引用 的 著名 的 大 头 针 制造 案例 中 ， 监 督 员 需要 时 刻 看 管 所 
有 工人 、 进 行 测量 并 用 羽毛 笔 在 厚 纸 上 记 下 产 出 数据 ， 而 且 测 量 时 间 
在 当时 也 较 难 把 握 ， 因 为 可 靠 的 时 钟 都 尚未 普及 。 技 术 环 境 的 限制 使 
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考虑 生产 有 要素 (土地 、 劳 动力 和 资本 ) 时 ， 信 息 的 作用 严重 地 缺失 
了 。 虽 然 在 过 去 的 两 个 世纪 中 ， 数 据 的 采集 、 存 储 和 使 用 成 本 一 直 在 
下 降 ， 但 直到 今天 也 仍然 维持 在 相当 昂贵 的 水 平 。 


我 们 所 处 的 时 代 之 所 以 与 众 不 同 ， 是 因为 数据 的 收集 不 再 存在 固有 的 
局 限 性 。 技 术 已 经 发 展 到 一 定 程度 ， 大 量 信息 可 以 被 廉价 地 捕捉 和 记 
好 。 数 据 经 常会 得 到 被 动 地 收集 ， 人 和 人们 无 须 投 入 太 多 精力 甚至 不 需要 
认识 这 些 数据 。 而 且 ， 由 于 存储 成 本 的 大 幅 下 降 ， 保 存 数 据 比 丢弃 数 
a o 这 使 得 以 较 低 成 本 获得 更 多 数据 的 可 能 性 比 以 往 任何 时 
FEIK ° 


大 数据 的 力量 


在 过 去 的 50 年 中 ， 数 字 存 储 成 本 大 约 每 两 年 就 削减 一 半 ， 而 存储 密度 
则 增加 了 5000 万 倍 。 


在 Farecast 或 谷歌 这 样 的 信息 公司 眼 里 ， 数 据 开 始 被 视 为 一 个 新 的 生产 
要 素 ， 原 材料 在 数字 流水 线 的 一 端 答 入 ， 而 处 理 后 的 信息 则 从 男 一 
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大 部 分 数据 的 直接 价值 对 收集 者 而 言 是 显而易见 的 。 事 实 上 ， 数 据 通 
第 都 是 为 了 某 个 特定 的 目的 而 被 收集 一 一 商店 为 了 会 计 核算 而 收集 销 
售 数据 ， 工 厂 为 了 确保 产品 符合 质量 标准 而 监 欣 输 出 ， 网 站 记录 每 一 
个 用 户 点 击 《即使 是 鼠标 光标 的 移动 ) 来 分 析 和 优化 其 呈现 给 访客 的 
内 容 。 数 据 的 基本 用 途 为 信息 的 收集 和 处 理 提 供 了 依据 。 亚马逊 同时 
记录 下 了 客户 购买 的 书籍 和 他 们 浏览 过 的 页 面 ， 便 可 以 利用 这 些 数据 
来 为 客户 提供 个 性 化 的 建议 。 同 样 ，Facebook 跟 踩 用 户 的 “状态 更 
新 ”和 “喜好 ”， 以 确定 最 佳 的 广告 位 从 而 赚 取 收入 。 


不 同 于 物质 性 的 东西 ， 数 据 的 价值 不 会 随 着 它 的 使 用 而 减少 ， 而 是 可 
以 不 断 地 被 处 理 。 这 就 是 经 济 学 家 所 谓 的 * 非 竞争 性 ”的 好 处 : 个 人 的 
使 用 不 会 妨碍 其 他 人 的 使 用 ， 而 且 信息 不 会 像 其 他 物质 产品 一 样 随 着 
使 用 而 有 所 耗损 。 因 此 ， 亚 马 逊 在 同 其 用 户 ， 不 论 羡 生成 这 些 数据 的 
客户 或 是 其 他 客户 做 出 建议 时 ， 都 可 以 不 断 地 使 用 过 去 的 交易 数据 。 


大 数据 洞察 
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数据 的 价值 并 不 仅 限于 特定 的 用 途 ， 它 可 以 为 了 同一 目的 而 被 多 次 使 
用 ， 也 可 以 用 于 其 他 目的 。 要 了 解 大 数据 时 代 究 竟 有 多 少 信息 对 我 们 
有 价值 ， 后 面 这 一 点 尤其 重要 。 


当 沃 尔 玛 检查 以 往 的 销售 数据 并 发 现 风 风 和 重 乓 销售 之 间 存 在 有 利 可 
图 的 关系 时 ， 这 种 潜力 的 一 部 分 已 经 得 到 实现 。 这 意味 着 数据 的 全 部 
价值 远 远 大 于 其 最 初 的 使 用 价值 ， 也 意味 着 即使 站 次 或 之 后 的 每 次 使 
用 都 只 带 来 了 少量 的 价值 ， 但 只 要 数据 个 多 次 使 用 过 ， 企 业 仍 然 可 以 
对 数据 加 以 有 效 利 用 。 


数据 的 “潜在 价值 


想 知 道 数据 的 重复 使 用 对 其 终极 价值 有 什么 意义 吗 ? 来 看 看 电动 汽车 
的 故事 吧 。 电 动 汽 车 能 否 成 功 地 作为 一 种 交通 工具 成 功 普 及 ， 其 决定 
因素 多 如 牛 毛 ， 但 一 切 都 与 电池 的 寿命 相关 。 司 机 需要 能 够 快速 而 便 
捷 地 为 汽车 电池 充电 ， 电 力 公司 需要 确保 提供 给 这 些 车 辆 的 电力 不 会 
影响 电网 运转 。 几 十 年 的 试验 和 错误 才 实 现 了 现 有 加 油 站 的 有 效 分 
配 ， 但 电动 汽车 充电 站 的 需求 和 设置 点 目前 还 不 得 而 知 。 


有 趣 的 是 ， 与 其 说 这 是 一 个 基础 设施 问题 ， 不 如 说 这 是 一 个 信息 问 
题 ， 因 为 大 数据 是 解决 方案 的 重要 组 成 部 分 。 


大 数据 先锋 
IBM， 电 动 汽车 动力 与 电力 供应 系统 优化 预测 


在 2012 年 进行 的 一 项 试验 中 ，IBM 曾 与 加 利 福 尼 亚 州 的 太平 详 天 然 气 
与 电气 公司 以 及 汽车 制造 商 本 田 合 作 ， 收 集 了 大 量 信息 来 回答 天 于 电 
动 汽车 应 在 何 时 何 地 获取 动力 及 其 对 电力 供应 的 影响 等 基本 问题 。 


基于 大 量 的 信息 输入 ， 如 汽车 的 电池 电量 、 汽 车 的 位 置 、 一 天 中 的 时 
间 以 及 附近 充电 站 的 可 用 插 模 等 ，IBM 开 发 了 一 套 复杂 的 预测 模型 。 
它 将 这 些 数据 与 电网 的 电流 消耗 以 及 历史 功率 使 用 模式 相 结 合 。 通 过 
分 析 来 目 多 个 数据 产 的 巨大 实时 数据 流 和 历史 数据 ， 能 够 确定 司机 为 
汽车 电池 充电 的 最 佳 时 间 和 地 点 ， 并 揭示 充电 站 的 最 佳 设置 点 。 最 

后 ， 系 统 需 要 考虑 附近 充电 站 的 价格 差异 ,即使 是 天 气 预报 ， 也 要 考虑 
到 。 例 如 ， 如 采 是 晴天， 附近 的 太阳 能 供电 站 会 充满 电 ， 但 如 果 预 报 
未 来 一 周 都 会 下 雨 ， 那 么 太阳 能 电池 板 将 会 被 采 置 。 


系统 采用 了 为 某 个 特定 目的 而 生成 的 数据 ， 并 将 其 重新 用 于 另 一 个 目 
的 ,换言之 ， 数 据 从 其 基本 用 途 移动 到 了 二 级 用 途 。 这 使 得 它 随 着 时 
间 的 推移 变 得 更 有 价值 。 汽 车 的 电池 电量 指示 器 告诉 司机 应 当 何 时 充 
电 ， 电 网 的 使 用 数据 可 以 通过 设备 收集 到 ， 从 而 管理 电网 的 稳定 性 。 
这 些 都 是 一 些 基 本 的 用 途 。 这 两 组 数据 都 可 以 找到 二 级 用 途 ， 即 新 的 
价值 。 ,它们 可 以 应 用 于 另 一 个 完全 不 同 的 日 的 : 确定 何 时 何 地 充电 以 
及 电子 汽车 服务 站 的 设置 点 。 在 此 之 上 ， 新 的 辅助 信息 也 将 纳入 其 

如 汽车 的 位 置 和 电网 的 历史 使 用 情况 。 而 且 ， 这 些 数据 不 只 会 使 
一 次 ， 而 是 随 着 电子 汽车 的 能 耗 和 电网 压力 状况 的 不 断 更 新 ， 一 次 
又 一 次 地 为 IBM 所 用 。 


数据 的 真实 价值 就 像 漂浮 在 海洋 中 的 冰山 ， 第 一 眼 只 能 看 到 冰山 一 
角 ， 而 绝 大 部 分 则 隐藏 在 表面 之 下 。 明白 了 这 一 点 ， 那 些 创 新 型 企业 
忠 能 够 提取 其 潜在 价值 并 获得 潜在 的 巨大 收益 。 辟 之 ， 判 断 数据 的 价 
值 需要 考虑 到 未 来 它 可 能 被 使 用 的 各 种 方式 ， 而 非 仅 仅 考 虑 其 目前 的 
用 偿 。 在 我 们 强调 过 多 次 的 例子 中 这 一 点 体现 得 非常 明显 : Farecast 利 
用 机 票 销售 数据 来 预测 未 来 的 机 票 价 格 ; 谷歌 重复 使 用 搜索 关键 词 来 
监测 流感 的 传播 ， 麦 格雷 戈 博士 用 婴儿 的 生命 体征 来 预测 传染 病 的 发 
生 ; 英里 重新 利用 老 船 长 的 日 志 而 发 现 了 洋流 。 


尽管 如 此 ， 数 据 再 利用 的 重要 性 还 没有 被 企业 和 社会 充分 认识 到 。 纽 
约 联合 爱迪生 公司 的 高 管 中 很 少 有 谁 能 够 想到 ，19 世 纪 的 电缆 信息 和 
工作 人 员 的 维修 记录 可 以 用 来 预防 未 来 事故 的 发 生 。 很 多 互联 网 和 科 
技 公 司 甚至 直到 最 近 才 知道 数据 再 利用 具有 多 大 的 价值 。 要 解锁 这 些 
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法 和 工具 。 


用 物理 学 家 解释 能 量 的 方法 或 许可 以 帮助 我 们 理解 数据 。 他 们 认为 物 
体 拥有 “储存 着 的 ”或 “潜在 的 ”能 量 ， 只 是 处 于 休眠 状态 ， 比 如 压缩 了 
的 弹 营 或 放置 在 小 山顶 的 小 球 。 这 些 物体 中 的 能 量 是 隐藏 着 的 、 洪 在 
的 ， 直 到 它们 被 释放 出 来 。 当 弹 千 被 释放 或 者 小 球 补 轻生 而 滚 下 山 基 
时 ， 这 些 物 体 的 能 量 吏 变 成 了 “动能 ?>， 因 为 它们 在 移动 并 对 其 他 物体 
施 力 。 同 理 ， 在 基本 用 途 完成 后 ， 数据 的 价值 仍然 存在 ， 从 起 处 于 休 
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量 。 在 大 数据 时 代 ， 我 们 终于 有 了 这 种 思维 、 创 造 力 和 工具 ， 来 释放 
数据 的 隐藏 价值 。 


大 数据 洞察 
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最 终 ， 数 据 的 价值 是 其 所 有 可 能 用 途 的 上 总和。 这些 似 乎 无 限 的 潜在 用 
途 束 像 是 选择 ， 这 里 不 是 指 金融 ] LRS EIEE, MEKE E 
Hee o KEE AERE, RR EME” 


过 去 ,一 旦 数据 的 基本 用 途 实 现 了 ， 我 们 便 认为 数据 已 经 达到 了 它 的 
目的 ， 准 备 将 其 删除 ， 让 它 束 此 消失 。 和 毕竟， 数据 的 下 要 价值 已 经 得 
以 提取 。 而 在 大 数据 时 代 ， 数 据 束 像 古 一 个 神奇 的 钻石 矿 ， 在 其 首要 
价值 被 发 气 之 后 仍 能 不 断 产生 价值 。 数 据 的 潜在 价值 有 三 种 最 为 第 见 
的 释放 方式 ， 基 本 再 利用 、 数 据 集 整合 和 寻找 “一 份 钱 两 份 货 *。 而 数 
据 的 折旧 值 、 数 据 废气 和 开放 数据 则 是 更 为 独特 的 方式 。 


数据 创新 1: 数据 的 再 利用 


数据 创新 再 利用 的 一 个 典型 例子 是 搜索 关键 词 。 消 费 者 和 搜索 引擎 之 
LI SCA Te AAIR, 实现 了 那 一 刻 的 特定 功 
能 。 乍 看 起 来 ， 这 些 信息 在 实现 了 基本 用 途 之 后 似乎 变 得 一 文 不 值 。 

但 是 ， 以 往 的 查 询 也 可 以 变 得 非常 有 价值 。 有 的 公司 ， 如 数据 代理 益 
百 利 旗下 的 网 页 流量 测量 公司 Hitwise， 让 客户 采集 搜索 流量 来 扬 示 消 
费 者 的 喜好 。 通 过 Hitwise 营 销 人 员 可 以 了 解 到 粉红 色 是 否 会 成 为 今夏 
的 潮流 色 ， 或 者 黑色 是 否 会 回归 潮流 。 合 歌 整理 了 一 个 版 本 的 搜索 词 
分 析 ， 公 开 供 人 们 查询 ， 并 与 西班牙 第 二 大 银行 BBVA 合 作 推 出 了 实 

时 经 济 指标 以 及 旅游 部 门 的 业务 预报 服务 ， 这 些 指标 都 是 基于 搜索 数 
据 得 到 的 。 英国 央行 通过 搜索 查询 房地产 的 相关 信息 ， 更 好 地 了 解 到 
了 住房 价格 的 升降 情况 。 


大 数据 先锋 
亚 马 进 ， 让 数据 的 价值 再 大 一 点 


未 能 理解 数据 再 利用 重要 性 的 公司 以 惨痛 的 代价 换 来 了 经 验 教 训 。 例 
如 ， 亚 马 逊 早期 与 AOL 达成 了 一 项 协议 ， 为 AOL 电子 商务 网 站 提供 后 
台 技 术 服 务 。 在 大 多 数 人 眼 里 ， 这 只 是 一 个 普通 的 外 包 协 议 ， 而 亚 马 
寺 真 正 的 用 意 在 于 掌握 用 户 的 数据 : 他 人 在 看 什么 、 IAT AAE 
据 可 以 帮助 亚马逊 提高 它 的 推荐 引擎 EIERE o Sal BB BSA A 
fe (Andreas Weigend) 一 语 道破 。 可 怜 的 AOL 从 来 没有 意识 到 这 

点 ， 只 看 到 了 销售 这 个 基本 用 途 所 带 来 的 利益 ;而 聪明 的 亚马逊 却 知 
道 如 何 从 二 次 利用 中 获 利 。 


再 来 看 另 一 个 例子 ， 人 谷歌 在 2007 一 2010 年 之 间 计 划 在 本 地 搜索 列表 中 
加 入 GOOG 一 411 语 音 识 别 服 务 ， 但 这 家 搜索 巨头 并 没有 上 自己 的 语音 识 
别 技术 ， 因 此 急需 购买 许可 。 于 是 ， 合 歌 与 该 领域 的 领导 者 Nuance 公 
司 达 成 合作 协议 ， 这 家 公司 因为 搭 上 了 这 样 一 个 珍贵 的 客户 而 感到 十 
分 高 兴 。 但 Nuance 公 司 在 数据 方面 完全 是 个 十 足 的 笨蛋 : 合同 中 没有 
规定 由 谁 来 保存 语音 翻译 记录 ! 于 是 谷歌 目 己 保存 了 数据 。 这 些 数据 
在 改进 技术 方面 是 不 可 或 缺 的 ， 合 歌 甚至 据 此 从 头 创建 了 一 个 新 的 语 
音 识别 服务 系统 。 当 时 Nuance 公 司 只 考虑 到 了 软件 许可 的 业务 交易 ， 
而 忽视 了 数据 的 处 理 。 当 认识 到 目 己 犯 下 的 错误 后 ， 它 立即 与 移动 运 
营 商 和 手机 制造 商 达 成 其 语音 识别 服务 的 使 用 交易 ， 从 而 进行 数据 收 
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数据 再 利用 的 价值 对 于 那些 收集 或 控制 厦大 型 数据 集 但 目前 却 很 少 使 
用 的 机 构 来 说 是 个 好 消 轧 ， 比 如 在 那些 线 下 运作 的 传统 企业 。 他 们 或 
许 正 坐 在 尚未 开发 的 信息 喷 果 上 “。 有 些 企 业 可 能 已 经 收集 了 数据 并 使 
用 过 一 次 (如 果 可 能 的 话 ) ， 且 因为 存储 成 本 低 而 将 其 保存 了 下 来 ， 
数据 科学 家 们 称 这 类 你 存 旧 信息 的 计算 机 为 “数据 坟墓 *”。 互联 网 和 科 
技 公 司 在 利用 海量 数据 方面 走 在 了 最 前 沿 ， 因 为 他 们 仅仅 通过 在 线束 
能 收集 大 量 的 信息 ， 分 析 能 力也 领先 于 其 他 行业 。 但 是 ， 所 有 的 公司 
都 可 能 会 从 中 获 利 。 麦 肯 锡 的 咨询 顾问 们 列举 了 一 家 物流 公司 (名 称 
保密 ) 。 这 家 公司 在 交付 货物 的 过 程 中 积累 了 大量 产品 的 全 球 出 货 信 
尽 。 咒 到 了 这 个 机 会 之 后 ， 该 公司 成 立 了 专门 的 部 门 ， 以 商业 和 经 济 
预测 的 形式 出 售 汇 总 数据 。 换 言 之 ， 它 创造 了 谷歌 过 去 搜索 查询 业务 
的 一 个 线 下 版 本 。 


由 于 在 信息 价值 链 中 的 特殊 位 置 ， 有 些 公 司 可 能 会 收集 到 大 量 的 数 

据 ， 但 是 他 们 并 不 急需 使 用 也 并 不 擅长 再 次 利用 这 些 数据 。 例 如 ， 移 
动 电话 运营 商 收集 用 户 的 位 置信 息 来 传输 电话 信号 。 对 于 这 些 公司 来 
说 ， 数 据 只 具有 狭 罕 的 技术 用 途 。 但 是 当 它 被 一 些 发 布 个 性 化 位 置 广 
告 服务 和 促销 活动 的 公司 再 次 利用 时 ， 则 变 得 更 有 价值 。 有 时 候 ， 数 
据 的 价值 并 非 来 和 目 于 单个 的 数据 值 ， 而 是 从 数据 汇总 中 体现 出 来 的 。 
因此 ，AirSage 和 Sense Networks 这 些 企业 会 出 售 诸如 人 们 有 周 五 晚上 有 聚 
集 在 哪里 或 者 汽车 在 哪个 地 段 行 驶 多 慢 等 信息 ， 这 种 信息 集合 可 以 用 
来 确定 房地产 价值 或 广告 牌 的 价格 。 


大 数据 先锋 
移动 运营 商 与 数据 再 利用 


如 采 得 到 使 用 正确 ， 即 使 是 最 平凡 的 信息 也 可 以 具有 特殊 的 价值 。 看 
看 移动 还 富商 中 他 们 记录 了 人 们 的 手机 在 何 时 何 地 连接 基站 的 信 

oe 包括 信号 的 强度 。 运 党 商 们 长 期 使 用 这 些 数 据 来 微调 其 网 络 的 性 
能 ， 决 定 哪 里 需要 添加 或 者 升级 基础 设施 。 但 这 些 数据 还 有 很 多 其 他 
潜在 的 用 途 ， 比 如 手机 制造 商 可 以 用 它 来 了 解 影响 信号 强度 的 因素 ， 

以 改善 手机 的 接收 质量 。 一 直 以 来 ， 处 于 隐私 保护 相关 法 律 的 限制 ， 

移动 运营 商 们 并 没有 用 这 些 数据 来 谋取 利益 。 但 如 今 ， 伴 随 着 经 济 藉 

势 ， 它 们 开始 逐渐 改变 立场 ， 认 为 数据 也 可 以 作为 其 利润 的 次 在 来 

源 。2012 年 ， 西 班 牙 电 话 公 司 (Telefónica of Spain) ， 一 家 国际 电讯 
公司 ， 甚 至 创立 了 独立 公司 Telefonica Digital Insights m S AMH 
他 买 家 出 售 其 收集 到 的 匿名 用 户 位 置信 息 。 


有 时 ， 处 于 休眠 状态 的 数据 的 价值 只 能 通过 与 尹 一 个 蕉 然 不 同 的 数据 
集结 合 才能 释放 出 来 。 用 痢 的 方式 混合 这 些 数据 ， 我 们 可 以 做 出 很 有 
创意 的 东西 来 。 一 个 成 功 的 例子 是 2011 年 发 表 的 关于 手机 是 否 增加 致 
瘤 可 能 性 的 一 项 有 趣 的 研究 。 全 球 约 有 60 亿 部 手机 ， 几 乎 人 手 一 部 ， 

因而 这 个 问题 定 至 关 重 要 的 。 人 们 做 了 大 量 的 研究 来 寻找 其 中 的 天 

联 ， 但 都 受 困 于 各 种 障碍 :样本 量 太 小 、 人 研究 时 间 太 短 或 者 是 伞 试 目 
己 报告 的 数据 中 充满 错误 。 然 而 ， 丹 麦 冶 症 协 会 的 研究 团队 基于 以 往 
收集 的 数据 想 出 了 一 个 有 趣 的 方法 。 


大 数据 先锋 
丹麦 阅 症 协会 ， 手 机 是 否 增加 致癌 率 


丹麦 拥有 1985 年 手机 推出 以 来 所 有 手机 用 户 的 数据 库 。 这 项 研究 分 析 
了 1990 年 至 2007 年 间 拥 有 手机 的 用 户 〈 企 业 用 户 和 其 他 社会 经 济 数据 
不 可 用 的 用 户 除外 ) ， 共 涉及 358403 人 。 该 国 同时 记录 了 所 有 癌症 患 
者 的 信息 ， 在 那 期 间 共 有 10729 名 中 枢 神 经 系统 肿瘤 患者 。 结 合 这 两 个 
数据 集 后 ， 研 究 人 员 开 始 寻 找 两 者 的 关系 : 手机 用 户 是 否 比 非 手机 用 
户 显 示 出 较 高 的 癌症 发 病 率 ? 使 用 手机 时 间 较 长 的 用 户 是 否 比 时 间 较 
短 的 用 户 更 容易 患 上 癌症 ? 


尽管 研究 的 规模 很 大 ， 数 据 却 没有 出 现 丝 台 混 乱 或 侣 糊 不 清 。 为 了 浦 
足 医 疗 或 商业 的 目的 ， 两 个 数据 集 都 采用 了 严格 的 质量 标准 ， 信 息 的 
收集 不 存在 偏差。 事实 上 ， 数 据 是 在 多 年 前 整 已 经 生成 的 ， 当 时 的 目 
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用 户 。 数 据 包 含 了 所 有 的 情况 ， 这 意味 着 研究 人 员 掌 握 了 各 种 亚 人 和 群 
组 信息 ， 比 如 吸烟 人 群 。 


最 后 ， 人 研究 没有 发 现 使 用 移动 电话 和 癌症 风险 增加 之 间 存 在 任何 关 
系 。 因 此 ， 当 2011 年 10 月 研究 结果 在 《英国 医学 杂志 》 上 发 布 时 ， 并 
未 在 媒体 中 引起 任何 轰动 。 但 是 如 果 两 者 之 间 存 在 关联 的 话 ， 它 可 能 
e 会 登 上 世界 各 地 的 头 版 头条 ， 而 “重组 数据 ?也 可 能 会 随 之 名 声 
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随 着 大 数据 的 出 现 ， 数 据 的 总 和 比 部 分 更 有 价值 。 当 我 们 将 多 个 数据 
集 的 总 和 重组 在 一 起 时 ， 重组 总 和 本 身 的 价值 也 比 单 个 总 和 更 大 。 如 

互联 网 用 户 都 熟悉 基本 的 混搭 式 应 用 ， 即 将 两 个 或 多 个 数据 源 以 
一 种 新 里 的 万 法 结合 起 来 ° 例如， 房地产 网 站 Zillow.com 将 房地产 信 
息 和 价格 添加 在 美国 的 社区 地 图 上 ， 同 时 还 聚合 了 大 量 的 信息 ， 如 社 
区 近期 的 交易 和 物业 规格 ， 以 此 来 预测 区 域内 具体 每 套 住 宅 的 价值 。 


ERATE SX, 尽管 通过 视觉 展示 使 得 数据 更 加 亲 和 且 非常 
简单， 但 采用 位 置信 息 并 将 其 置 于 地 图 上 毕竟 不 是 一 个 创造 性 的 飞 

路 。 随 着 大 数据 的 出 现 ， 我 们 可 以 走 得 更 远 ， 丹 麦 的 癌症 研究 就 为 我 
们 提示 了 更 多 的 可 能 性 。 


数据 创新 3: 可 扩展 数据 


促成 数据 再 利用 的 方法 之 一 是 从 一 开始 束 设 计 好 它 的 可 扩展 性 。 叶 然 
这 不 局 是 可 能 的 ， 因 为 人 们 可 能 在 数据 收集 后 很 长 时 间 才 意识 到 这 一 

但 的 确 有 一 些 方法 可 以 发 励 相同 数据 集 的 多 种 用 途 。 例 如 ， 有 些 
ee 了 监控 摄像 头 ， 这 样 不 仅 和 角 E 认 出 商店 扒手 ， 还 能 跟 
EE BOREAS ARE. 零售 商 利 用 后 面 的 信息 
可 以 设计 店面 的 最 佳 布 局 并 判断 营销 活动 的 有 效 性 。 在 此 之 前 ， 监 控 
摄像 机 仅 用 于 安全 保卫 ， 是 一 项 纯粹 的 成 本 支出 ， 而 现在 却 被 视 为 一 
项 可 以 增加 收入 的 投资 


大 数据 先锋 


谷歌 街景 气 GPS 采集 
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一 。 其 备 受 争议 的 街景 汽车 不 仅 拍摄 了 房屋 和 道路 的 照片 ， 还 同时 采 
集 GPS 数 据 ， 检 查 地 图 的 信息 ， 甚 至 还 加 入 了 无 线 网 络 名 称 (以 及 通 
过 开放 无 线 网 络 的 内 容 ， 尽 管 这 可 能 是 非法 的 ) 。 一 辆 谷歌 街景 汽车 
每 时 每 刻 都 能 积 素 大 量 的 离散 数据 流 。 这 些 数据 之 所 以 具有 可 扩展 
性 ， 十 因为 谷歌 不 仅 将 其 用 于 基本 用 途 ， 而 且 进行 了 大 量 的 二 次 使 
用 。 例 如 ，GPS 数 据 不 仅 优化 了 其 地 图 服务 ， 而 且 对 谷歌 目 动 要 驶 汽 
车 的 运作 功 不 可 没 。 


收集 多 个 数据 流 或 每 个 数据 流 中 更 多 数据 点 的 额外 成 本 往往 较 低 ， 因 
此 ， 收 集 尽 可 能 多 的 数据 并 在 一 开始 的 时 候 融 考虑 到 各 种 洪 在 的 二 次 
用 途 并 使 其 具有 扩展 性 是 非常 有 意义 的 。 这 增加 了 数据 的 洪 在 价值 。 
问题 的 关键 是 寻找 “一 份 钱 两 份 货 "”， 即 如 果 以 某 种 方式 收集 的 单一 数 
据 集 有 多 种 不 同 的 用 途 ， 它 束 具 有 双重 功能 。 


数据 创新 4: 数据 的 折旧 值 


随 着 数据 存储 成 本 的 大 幅 下 降 ， 企 业 拥 有 了 更 强 的 经 济 动机 来 保存 数 
据 ， 并 再 次 用 于 相同 或 类 似 的 用 途 。 但 是 ， 其 有 效 性 是 有 限 的 。 例 
如 ， 像 条 飞 和 亚马逊 这 类 公司 可 以 利用 客户 购买 的 产品 、 浏 览 的 页 面 
和 评论 来 推荐 新 的 产品 ， 他 们 可 能 会 年 复 一 年 、 一 授 又 一 吉 地 使 用 这 
些 数 据 。 考 虑 到 这 一 点 ， 人 们 可 能 会 认为 只 要 公司 不 个 隐私 体 护 法 等 
法 律 法 规 所 限制 ， 束 应 该 永远 保存 这 些 数字 记录 ， 或 者 至 少 在 经 济 条 
件 允 许 的 情况 下 保存 这 些 记录 。 然 而 ， 事 实 并 非 如 此 简单。 


随 独 时 间 的 推移 ， 大 多 数 数 据 都 会 失去 一 部 分 基本 用 途 。 在 这 种 情况 
下 ， 继 续 依赖 于 旧 的 数据 不 仅 不 能 增加 价值 ， 实 际 上 还 会 破坏 新 数据 
的 价值 。 比 如 十 年 前 你 在 亚 蕊 进 买 了 一 本 书 ， 而 现在 你 可 能 已 经 对 它 
完全 不 感 兴趣 。 如 果 亚 马 逊 继续 用 这 个 数据 来 癌 你 推荐 其 他 书籍 ， 你 
忠 不 太 可 能 购买 党 有 这 类 标题 的 书籍 ， 甚 至 会 担心 该 网 站 之 后 的 推荐 
是 否 合理 。 这 些 推 荐 的 依据 既 有 旧 的 过 时 的 信息 又 有 近期 仍然 有 价值 
的 数据 ， 而 旧 数 据 的 存在 破坏 了 新 数据 的 价值 。 


于 是 ， 亚 蕊 进 决 定 只 使 用 仍 有 生产 价值 的 数据 ， 这 束 需 要 不 断 地 更 新 
数据 库 并 淘汰 无 用 信息 。 这 时 面临 的 挑战 就 古 如 何 得 知 哪些 数 据 不 再 
有 价值 。 仅 仅 依据 时 间 来 判断 显然 不 够 ， 中 因此 ， 亚 马 逊 等 公司 建立 
了 复杂 的 模型 来 帮助 目 己 分 离 有 用 和 无 用 的 数据 。 例 如 ， 如 采 客 户 浏 


览 或 购买 了 一 本 基于 以 往 购 买 记录 而 推荐 的 书 ， 电 子 商务 公司 殉 认 为 
这 项 旧 的 购买 记录 仍然 代表 着 客户 的 喜好 。 这 样 ， 他 们 整 能 够 评价 旧 
数据 的 有 用 性 ， 并 使 模型 的 “折旧 率 ” 更 具体 。 


然而 ， 并 非 所 有 的 数据 都 会 贬值 。 有 些 公司 提 倡 尽 可 能 长 时 间 地 保存 
数据 ， 即 使 监管 部 门 或 公众 有 要求 它们 短 时 间 内 删除 或 隐匿 这 些 信 息 。 
这 束 解 释 了 为 什么 一 直 以 来 ， 合 歌 痢 拒绝 将 互联 网 协议 地 址 从 旧 的 搜 
索 查询 中 完全 删除 ( 它 只 是 在 18 个 月 后 删除 了 最 后 四 位 数 以 隐匿 搜索 
查询 ) 。 谷歌 希望 得 到 每 年 的 同比 数据 ， 如 假日 购物 搜索 等 。 此 外 ， 
通过 了 解 搜索 者 的 位 置 ， 可 以 帮助 改善 搜索 结果 的 相关 性 。 例 如 ， 很 
多 纽约 人 都 会 搜索 “ 火 鸡 ”， 但 经 常会 搜索 到 与 “ 火 鸡 "无关 的 天 于“ 土 耳 
其 ”的 网 页 (英文 中 “ 火 鸡 ”与 “土耳其 ” 同 为 turkey) 。 通 过 算法 可 以 将 
他 们 想 要 碍 看 的 页 面 放 在 排名 靠 前 的 位 置 ， 来 方便 其 他 纽约 人 查找 。 
即使 数据 用 于 基本 用 途 的 价值 会 减少 ， 但 潜在 价值 却 依 然 强 大 。 


大 数据 洞察 


法 在 价值 的 概念 委 明 ， 组 织 机 构 应 收集 尽 可 有朋 多 的 使 用 数据 并 你 存 尽 
可 能 长 的 时 间 。 同时 也 应 当 与 第 =F TE 前 提 是 要 保留 所 谓 

的 “延展 性 ”权利 (专利 许可 术语 ) 。 这 样 一 来 ， 由 数据 再 利用 而 产生 
的 任何 商业 价值 ， 原 始 数 据 拥有 者 都 能 从 中 分 到 一 Peleg SRA 
和 拥有 者 无 法 想象 数据 和 利用 的 所 有 可 能 方式 ， 这 RIL et a H 


数据 创新 5: 数据 废气 


数据 再 利用 的 方式 可 以 很 巧妙 、 很 隐蔽 。 网 络 公司 可 以 捕捉 到 用 户 在 
其 网 站 上 做 的 所 有 事情 ， 然后 将 每 个 离散 交互 当 作 一 个 “信号 ”， 作 为 
网 站 个 性 化 、 提 高 服务 或 创建 全 新 数字 化 产品 的 反馈 。 两 个 关于 拼写 
检查 的 故事 A 我 们 提供 了 一 个 生动 的 解释 。 


大 数据 先锋 
微软 与 谷歌 的 拼写 检查 
在 过 去 的 20 多 年 中 ， 微 软 为 其 Word 软 件 开发 出 了 一 个 强大 的 拼写 检 


程序 ， 通 过 与 频繁 更 新 的 字典 正 TEES MICS PRANTL 
HITA o FREH T ACAL, ASCE AER IR 


ot 


的 词汇 判断 为 拼写 错误 ， 并 对 其 进行 纠正 。 由 于 需要 不 断 编译 和 更 新 
字典 ， 微 软 Word 的 拼写 检查 仅 适 用 于 最 第 用 的 语言 ， 且 每 年 需要 花费 
数 百 万 美元 的 创建 和 维护 费用 。 


现在 再 来 看 看 合 歌 是 怎么 做 的 吧 。 可 以 说 ， 合 歌 拥 有 世界 上 最 完整 的 
拼写 检查 器， 基本 上 泣 盖 了 世界 上 的 每 一 种 语言 。 这 个 系统 一 直 在 不 
岂 地 完善 和 增加 新 的 词汇 ， 这 是 人 们 每 天 使 用 搜索 引擎 的 附加 结果 。 

你 输 错 了 iPad 吗 ? 不要紧， 它 在 那儿 呢 ; Obamacare 是 什么 ? MR, HAA 
T o 


而 且 ， 谷 歌 几 乎 是 “免费 ?地 获得 了 这 种 拼写 检查 ， 它 依据 的 是 其 每 天 
处 理 的 30 亿 查询 中 输入 搜索 框 中 的 错误 拼写 。 一 个 巧妙 的 反馈 循环 可 
以 将 用 户 实 际 想 输入 的 内 容 告知 系统 。 当 搜索 结果 页 面 的 顶部 显示 “你 
要 找 的 是 不 是 : 流行 病 学 ?时 ， 用 户 可 以 通过 点 击 正 确 的 术语 明确 

地 “告诉 ”谷歌 目 己 需要 重新 查询 的 内 容 。 或 者 ， 直 接 在 用 户 访问 的 页 
面 上 显示 正确 拼写 的 结果 ， 因 为 它 很 可 能 与 正确 的 拼写 高 度 相关 。 

(这 实际 上 比 看 上 去 更 有 意义 ， 因 为 随 着 谷歌 拼写 检查 系统 的 不 断 完 
a 


谷歌 的 拼写 检查 系统 显示 ， 那 些 “ 不 合 标准 ”`“ 不 正确 ”或 “有 缺陷 ”的 
数据 也 是 非常 有 用 的 。 有 趣 的 是 ， 合 歌 并 不 是 第 一 个 有 这 种 拼写 想法 
的 公司 。2000 年 左右 ， 和 雅虎 也 看 到 了 从 用 户 输 错 的 查询 中 创建 拼写 检 
查 系统 的 可 能 性 ， 但 只 是 停留 在 了 想法 阶段 ， 并 未 付 诸 实 践 。 旧 的 搜 
索 查 询 数 据 就 这 样 被 当成 了 垃圾 对 待 。 同 样 ，Infoseek 和 Alta Vista 这 两 
个 早期 流行 的 搜索 引擎 ， 虽 然 在 那个 年 代 都 拥有 世界 上 最 全 面 的 错 别 
字数 据 库 ， 但 他 们 未 懂得 欣赏 其 中 的 价值 。 在 用 户 不 可 见 的 搜索 过 程 
中 ， 他 们 的 系统 将 错别字 作为 “< 相关 词 * 进 行 了 处 理 ， 但 是 它 的 依据 是 
rie ele 而 不 是 鲜 活 的 、 有 生命 的 用 户 交 互 的 总 
T° 


只 有 谷歌 认识 到 了 用 万 交 互 的 碎 导 实际 上 有 是 金粉 ， 收 集 在 一 起 殴 能 锻 
造成 一 块 内 竞 的 金 元 宇 。 合 歌 的 一 名 顶级 工程 师 售 计 ， 他 们 的 拼写 检 
查 器 性 能 比 微软 至 少 高 出 一 个 数量 级 (虽然 他 在 采访 时 承认 这 并 没有 
进行 过 可 靠 计 算 ) 。 他 还 咽 笑 了 “免费 ”开发 的 想法 一 一 “虽然 原材料 拼 
写 错 误 都 是 免费 获得 的 ， 但 谷歌 在 系统 开发 上 的 花费 可 能 比 微软 要 多 
得 多 。?” 他 大 笑 着 说 。 


这 两 家 公司 的 不 同 做 法 很 能 说 明 问 题 。 微 软 只 看 到 了 拼写 检查 作为 文 
字 处 理 这 一 个 目的 的 价值 ， 而 谷歌 却 理解 了 其 更 深层 次 的 价值 。 不 仅 
利用 错别字 开发 了 世界 上 最 好 、 最 痢 式 的 拼写 检查 硕 来 所 高 搜索 质 
量 ， 而 且 将 其 应 用 于 许多 其 他 服务 中 ， 如 搜索 的 “ 目 动 完成 ”功能 、 
Gmail、 合 歌 文档 甚至 翻译 系统 。 


一 个 用 来 撒 述 人 们 在 网 上 留 下 的 数字 轨迹 的 艺术 词汇 出 现 了 ， 这 就 
是 < 数据 废气 ”。 它 是 用 户 在 线 交互 的 副产品 ， 包 括 浏览 了 哪些 页 面 、 
停留 了 多 久 、 鼠 标 光标 停留 的 位 置 、 输 入 了 什么 信息 等 。 许 多 公司 因 
此 对 系统 进行 了 设计 ， 使 自己 能 够 得 到 数据 废气 并 循环 利用 ， 以 改善 
现 有 的 服务 或 开发 新 服务 。 毋 庸 置 疑 ， 谷 歌 是 这 方面 的 领导 者 ， 它 将 
不 断 地 “从 数据 中 学 习 ” 这 个 原则 应 用 到 许多 服务 中 。 用 户 执行 的 每 一 
个 动作 都 被 认为 是 一 个 “信号 "， 谷 歌 对 其 进行 分 析 并 反馈 给 系统 。 


大 数据 先锋 
谷歌 ， 从 大 的 “ 品 首 ”数据 中 受益 


例如 ， 合 歌 敏 馈 地 注意 到 ， 人 人们 经 常 搜索 某 个 词 及 其 相关 词 ， 点 击 进 
入 后 却 未 能 找到 想 要 的 信息 ， 于 是 又 返回 到 搜索 页 面 继 续 搜索 。 它 知 
道人 们 点 击 的 是 第 1 页 的 第 8 个 链接 还 是 第 8 页 的 第 1 个 链接 ， 或 者 是 干 
脆 放 弃 了 所 有 搜索 点 击 。 谷 歌 不 是 第 一 个 洞察 到 这 一 点 的 公司 ， 但 它 
利用 这 一 点 并 取得 了 非凡 的 成 果 。 


这 些 信息 是 非常 有 价值 的 。 如 采 许 多 用 户 都 点 击 搜索 结 采 页 底部 的 链 
接 ， 束 表明 这 个 结果 更 加 具有 相关 性 ， 合 歌 的 排名 算法 整 会 目 动 地 在 
随后 的 搜索 中 将 它 提 到 页 面 中 比较 靠 前 的 位 置 〈 广 告 也 是 如 此 ) 。 一 
位 谷歌 的 员工 说 : “我 们 喜欢 从 大 的 ' 噪 音 ' 数 据 集中 吸取 教训 。” 


数据 废气 是 许多 电脑 化 服务 背后 的 机 制 ， 如 语音 识别 、 垃 圾 邮件 过 
滤 、 翻 译 等 。 当 用 户 指出 语音 识别 程序 误解 了 他 们 的 意思 时 ， 他 们 实 
际 上 有 效 地 * 训 练 " 了 这 个 系统 ， 证 它 变 得 更 好 。 


很 多 企业 都 开始 设计 他 们 的 系统 ， 以 这 种 方式 收集 和 使 用 信息 。 在 

Facebook 的 早期 ， 数 据 科 学 家 们 研究 了 数据 废气 的 丰富 信息 ， 发 现 人 
们 会 采取 某 种 行动 (如 回帖 、 点 击 图 标 等 的 最 重要 的 预测 指标 就 是 
他 们 看 到 了 周围 的 朋友 也 在 这 么 做 。 紧 接着 ，Facebook 重 新 设计 了 它 
的 系统 ， 使 每 个 用 户 的 活动 变 得 可 见 并 广播 出 去 ， 这 为 网 站 的 民 性 循 


环 做 出 了 新 的 贡献 。 逐 渐 地 ， 这 个 想法 从 互联 网 行业 传播 至 可 以 收集 
HP RIE AT] ° 


大 数据 先锋 
巴 诺 与 NOOK 快 照 


电子 书 阅读 器 捕 提 了 大 量 关 于 文学 喜好 和 阅读 人 群 的 数据 ; 读者 阅读 
一 页 或 一 节 需 要 多 长 时 间 ， 读 者 是 略 读 还 是 直接 放弃 阅读 ， 读 者 是 否 
画 线 强调 或 者 在 空白 处 做 了 笔记 ， 这 些 他 们 都会 记录 下 来 。 这 就 将 阅 
读 这 种 长 期 被 视 为 个 人 行为 的 动作 转换 成 了 一 种 共同 经 验 。 一 旦 聚集 
起 来 ， 数 据 废气 可 以 用 量化 的 方式 向 出 版 商 和 作者 展示 一 些 他 们 可 能 
永远 都 不 会 知道 的 信息 ， 如 读者 的 好 恶 和 阅读 模式 。 这 是 十 分 具有 商 
业 价值 的 。 电 子 图 书 出 版 公司 可 以 将 这 些 信息 卖 给 出 版 商 ， 从 而 帮助 


发 ， 从 而 推出 “Nook 快 照 "” 加 入 了 一 系列 健康 和 时 事 等 专题 的 短篇 作 


= 
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Udacity、Coursera 和 EDX 等 在 线 教育 课程 通过 跟踪 学 生 的 Web 交 互 来 
寻找 最 佳 的 教学 方法 。 班 级 人 数 成 和 十 上 万 ， 产 生 的 数据 也 十 分 惊人 。 
教授 们 现在 可 以 看 到 ， 如 采 大 部 分 学 生 需 要 再 看 一 授课 程 内 容 ， 束 可 
能 表明 某 些 地 方 他 们 还 不 太 清 楚 。 在 斯 坦 福 大 学 教授 安德鲁 : 恩 格 

(Andrew Ng) 讲授 的 Coursera 机 器 学 习 课 党 上， 他 注意 到 约 有 2000 名 
学 生 课 外 作业 的 答案 是 错误 的 ， 但 错误 答案 居然 是 相同 的 。 显 然 ， 他 
们 都 犯 了 相同 的 错误 ， 那 么 是 什么 呢 ? 


随 着 一 点点 的 调查 ， 他 终于 弄 清 楚 了， 他 们 把 一 个 算法 里 的 两 个 代数 
方程 弄 反 了 。 所 以 如 末 现 在 还 有 其 他 学 生 犯 同样 错误 的 话 ， 系 统 不 
会 简单 地 告诉 他 们 做 错 了 ， 而 征 会 提示 他 们 去 检查 算法 。 这 个 系统 也 
应 用 了 大 数据 ， 通 过 分 析 学 生 看 过 的 每 个 论坛 帖子 以 及 他 们 是 否 正确 
完成 课外 作业 ， 来 预测 看 过 某 个 帖子 之 后 的 学 生 正确 作答 的 概率 ， 并 
由 此 来 确定 哪些 论坛 帖子 最 适合 学 生 阅读 。 这 些 都 是 过 去 很 难得 知 
的 ， 现 在 却 永远 地 改变 了 教学 方式 。 


数据 废气 可 以 成 为 公司 的 巨大 竞争 优势 ， 也 可 能 成 为 对 手 的 强大 进入 
壁 仅 。 试 想 ， 如 果 一 家 新 上 市 的 公司 设计 了 一 个 比 当 今 行业 领先 者 
(如 亚 马 还 、 合 歌 或 Facebook 等 ) 更 优秀 的 电子 商务 网 站 、 社 交 网 站 


或 搜索 引擎 ， 它 也 难以 同 对 手 竞 争 ， 这 不 仅 是 因为 其 经 济 规模 、 网 络 
效应 或 品牌 价值 不 够 好 ， 而 是 因为 这 些 公 司 收集 了 来 目 客户 交互 的 数 
据 废气 并 纳入 到 他 们 的 服务 中 。 一 个 新 的 在 线 教 育 网 站 有 能 力 与 一 个 
已 经 具备 庞大 数据 库 并 且 由 此 知道 什么 最 好 的 对 手相 抗衡 吗 ? 


数据 创新 6: 开放 数据 


如 今 ， 我 们 很 可 能 认为 谷歌 和 亚马逊 等 网 站 是 大 数据 的 移 驱 者， 但 事 
实 上 ， 政 府 才 是 大 规模 信息 的 原始 采集 者 ， 并 且 还 在 与 私 膏 企业 竞争 
他 们 所 控制 的 大 量 数据 。 政 府 与 私营 企业 数据 持 有 人 之 间 的 主要 区 别 
束 是 ， 政 府 可 以 强迫 人 们 为 他 们 提供 信息 ， 而 不 必 加 以 说 服 或 支付 报 
AH o 因此， 政府 将 继续 收集 和 积 素 大 量 的 数据 。 


大 数据 对 于 公共 部 门 的 适用 性 同 对 商业 实体 是 一 样 的 : 大 部 分 的 数据 
价值 都 是 潜在 的 ， 需 要 通过 创新 性 的 分 析 来 释放 。 但 是 ， 由 于 政府 在 
获取 数据 中 所 处 的 特殊 地 位 ， 因 此 他 们 在 数据 使 用 上 往往 效率 很 低 。 
最 近 有 一 个 想法 得 到 了 公认 ， 即 提取 政府 数据 价值 最 好 的 办 法 是 允许 
私营 部 门 和 社会 大 众 访问 。 这 其 实 是 基于 一 个 原则 :国家 收集 数据 时 
代表 的 是 其 公民 ， 因 此 它 也 理应 提供 一 个 让 公民 查看 的 入 口 ， 但 少数 
可 能 会 危害 到 国家 安全 或 他 人 隐私 权 的 情况 除外 。 


这 种 想法 让 “开放 政府 数据 ”的 倡议 响 彻 全 球 。 开 放 数 据 的 倡导 者 主 
张 ， 政府 只 是 他 们 所 收集 信息 的 托管 人 ， 私 营 部 门 和 社会 对 数据 的 利 
用 会 比 政府 更 具有 创新 性 。 他 们 呼吁 建立 专门 的 官方 机 构 来 公布 民用 
和 商业 数据 ;而且 数据 必须 以 标准 的 可 机 恋 形 式 展 现 ， 以 方便 人 们 处 
理 。 否 则 ,信息 的 公开 只 会 是 徒 有 虚名 。 


2008 年 1 月 21 日 ， 奥 巴 马 总 统 在 就 职 的 第 一 天 发 表 了 一 份 总 统 备忘录 ， 
命令 美国 联邦 机 构 的 负责 人 公布 尽 可 能 多 的 数据 ， 这 使 开放 政府 数据 
的 想法 取得 了 极 大 的 进展 。“ 面 对 怀疑 ， 公 开 优 先 。” 他 这 样 指示 道 。 
这 真是 一 个 了 不 起 的 声明 ， 特 别 是 与 那些 作出 相反 指令 的 前 任 们 相 
比 。 奥 巴 马 的 指令 促成 了 data.gov 网 站 的 建立 ， 这 是 美国 联邦 政府 的 公 
开 信 息 资 料 库 。 网 站 从 2009 年 的 47 个 数据 集 迅 速 发 展 起 来 ， 到 2012 年 7 
月 三 周年 时 ， 数 据 集 已 达 45 万 个 左右 ， 润 盖 了 172 个 机 构 。 


即使 是 在 严谨 的 英国 中， 现在 也 出 现 了 实质 性 的 转变 。 英 国政 府 已 经 
颁布 相关 规定 鼓励 信息 公开 ， 并 文 持 创建 由 万 维 网 的 发 明 者 带 姆 : 伯 纳 


iff (Tim Berners-Lee) 参与 指导 的 开放 式 数据 中 心 ， 这 一 举措 促进 了 
开放 数据 的 新 用 途 并 将 数据 从 国家 手中 解放 出 来 。 


欧盟 宣布 开放 数据 的 举措 很 快 也 会 裔 及 整个 欧洲 。 其 他 国家 ， 如 澳 大 
利 亚 、 巴 西 、 智 利 等 也 相继 出 台 并 实施 了 开放 数据 策略 。 同 时 ， 世 界 
各 地 越 来 越 多 的 城市 和 地 区 也 已 经 加 入 开放 数据 的 热潮， 一 些 国际 组 
织 也 十 如 此 ， 世 界 银行 就 公 开 了 数 百 个 之 前 被 限制 的 天 于 经 济 和 社会 
指标 方面 的 数据 集 。 


同时 ， 各 种 Web 开 发 人 员 和 富有 远见 的 思想 家 组 成 了 数据 团队 来 最 大 
化 开放 数据 价值 ， 如 美国 的 阳光 基金 会 和 英国 的 开放 知识 基金 会 。 


大 数据 先锋 
FlyOnTime 的 航班 时 间 预 测 


开放 数据 早期 的 一 个 例子 ， 来 目 美国 一 个 叫 FlyOnTime.us 的 网 站 。 人 
们 可 以 交互 地 (从 许多 其 他 相互 关系 中 ) 判断 恶劣 天 气 使 某 一 特定 机 
场 的 航班 延迟 的 可 能 性 有 和 多大。 该 网 站 结合 了 航班 信息 和 互联 网 免费 
提供 的 冒 方 天 气 预 报 。 它 是 由 开放 数据 的 倡导 者 开发 的 ， 由 此 来 说 明 
美国 联邦 政府 所 积 素 信息 的 实际 使 用 价值 。 不 仅 数据 羡 免 费 提 供 的 ， 
而 且 软 件 代 码 也 是 开放 源 代码 ， 可 供 人 们 学 习 和 再 次 利用 。 


FlyOnTime.us 让 数据 说 话 ， 并 有 旦 经 常 语 出 惊人 。 人 们 可 以 看 到 ， 从 波 
士 顿 到 纽约 拉 瓜 迪 亚 机 场 的 航班 因 大 雾 延 迟 的 时 间 是 因 雪 延迟 的 两 
倍 。 当 和 人们 在 候 机 室 逗 留 时 ， 大 部 分 人 可 能 都 料想 不 到 这 一 点 ， 因 为 
他 们 通常 认为 雪 才 是 使 航班 延迟 更 重要 的 原因 。 正 是 大 数据 给 了 人 们 
这 种 洞察 力 ， 只 要 将 交通 运输 局 的 历史 航班 延误 数据 和 美国 联邦 航空 
管理 局 的 机 场 信息 ， 以 及 美国 国家 海洋 和 大 气管 理 局 的 以 往 天 气 报告 
和 国家 气象 服务 的 实时 状态 结合 起 来 ， 残 能 揭示 这 一 切 。 
FlyOnTime.us 充 分 体现 了 一 个 不 收集 或 控制 信息 的 实体 单位 是 如 何 像 
搜索 引擎 或 大 零售 商 一 样 ， 能 够 获取 数据 并 利用 其 创造 价值 。 


给 数据 佑 值 
无 论 是 同 公 众 开 放 还 是 将 其 锁 在 公司 的 保险 库 中 ， 数 据 的 价值 都 难以 


衡量 。 来 看 看 2012 年 5 月 18 日 星期 五 发 生 的 事 吧 。 这 一 天 ，28 罗 的 
Facebook 创 始 人 马克 : 扎 克 伯 格 (Mark Zuckerberg) 在 位 于 美国 加 利 福 


尼 亚 州 1 REIRES eR, Ate PEM RMA TANIA SCTE ak EH o 
XR EPEAT APRA Ae PEERAGE ES 
司 ， 开 局 了 其 作为 上 市 公司 的 征程 。 


和 很 多 新 科技 股 的 第 一 个 上 市 交易 日 一 样 ， 公 司 股价 立即 上 涨 了 

11%， 翻 倍增 长 甚至 已 经 近 在 眼前 。 然 而 束 在 这 一 天 ， 怪 事 发 生 了 。 
Facebook 的 股价 开始 下 跌 ， 期 间 纳 斯 达 克 的 电脑 因 出 现 技 术 故 障 曾 暂 
停 交 易 ， 但 仍然 于 事 无 补 ， 情 况 甚 至 更 加 有 恶化 。 感 到 异 肖 的 股票 承销 
Berea ne lee In resent Rare Oe eax ee 


上 市 的 前 一 晚 ， 银 行 对 Facebook 的 定价 是 每 股 38 美 元 ， 总 估 值 1040 亿 
美元 (也 就 是 说 ， 大 约 是 波音 公司 、 通 用 汽车 和 戴尔 电脑 的 市 值 之 
All) 。 那 么 事实 上 Facebook 价 值 多 少 呢 ? 在 2011 年 供 投资 者 评估 公司 
的 审核 账目 中 ，Facebook 公 布 的 资产 为 66 亿 美元 ， 包 括 计 算 机 硬件 、 
专利 和 其 他 实物 价值 。 那 么 Facebook 公 司 数据 库 中 存储 的 大 量 信息 ， 
其 账面 价值 是 多 少 呢 ? Bo ERAT A RITA, RER T BE, 
Facebook 几 平一 文 不 值 。 


这 令 人 匪夷所思 。 加 特 纳 市 场 研究 公司 (Gartner) AYE! RIES SESE 
(Doug Laney) 研究 了 Facebook 在 IPO 前 一 段 时 间 内 的 数据 ， 估 算出 

Facebook 在 2009 年 至 2011 年 间 收 集 了 2.1 万 亿 条 “ 获 利 信息 ”， 比 如 用 户 
的 “喜好 ”、 发 布 的 信息 和 评论 等 。 与 其 IPO 估 值 相 比 ， 这 意味 着 每 条 信 
A (将 其 视 为 一 个 离散 数据 点 ) 都 有 约 4 美 分 的 价值 。 也 就 是 说 ， 每 一 
ee a eee 
JE < 


那么 ， 如 何 解释 Facebook 根 据 会 计 准 则 计算 出 的 价值 ( 约 63 亿 美元 ) 

和 最 初 的 市 场 佑 值 (1040 亿 美元 ) 之 间 会 产生 如 此 巨大 的 差距 昵 ? H 
前 还 没有 很 好 的 方法 能 解释 这 一 点 。 然 而 人 们 壮志 开始 认为 ， 通 过 得 
看 公司 “账面 价值 ”( 大 部 分 是 有 形 资 产 的 价值 ， 来 确定 企业 价值 的 方 
法 ， 已 经 不 能 充分 反映 公司 的 真正 价值 。 事 实 上 ， 账 面 价值 与 “市 场 价 
值 ”( 即 公司 被 买 断 时 在 股票 市 场 上 所 获 的 价值 ， 之 间 的 差距 在 这 几 十 
年 中 一 直 在 不 断 地 扩大 。 美 国 参议 院 甚至 在 2000 年 举行 了 关于 将 现行 
财务 报告 模式 现代 化 的 听证 会 。 现 行 的 财务 报告 模式 始 于 20 世 纪 30 年 
代 ， 当 时 信息 类 的 企业 几乎 不 存在 。 现 行 财务 报表 模式 与 现状 的 差异 
不 仅 会 影响 公司 的 资产 负债 表 ， 如 采 不 能 正确 评估 企业 的 价值 ， 还 可 
能 会 给 企业 融 来 经 营 风 险 和 市 场 波动 。 


公司 账面 价值 和 市 场 价 值 之 间 的 差额 被 记 为 “无 形 资产 ”。 20 世 纪 80 年 
代 中 期 ， 无 形 资产 在 美国 上 市 公司 市 值 中 约 占 40%， 而 在 2002 年 ， 这 
一 数字 已 经 增长 为 75%。 无 形 资 产 早期 仅 包含 品牌 、 人 才 和 战略 这 些 
应 计 入 正规 金融 会 计 制 度 的 非 有 形 资产 部 分 。 但 渐渐 地 ， 公 司 所 持 有 
和 使 用 的 数据 也 渐渐 纳入 了 无 形 资产 的 范畴 。 


最 终 ， 这 意味 着 目前 还 找 不 到 一 个 有 效 的 方法 来 计算 数据 的 价值 。 
Facebook 开 盘 当 天 ， 其 正规 金融 资产 与 其 未 记录 的 无 形 资 产 之 间 相 郑 
了 近 1000 亿 美元 ， 差 距 几乎 是 20 倍 ! 太 可 笑 了 。 但 是 ， 随 着 企业 找到 
人 
消除 。 


人 们 正在 朝 着 这 个 方向 前 进 。 在 美国 最 大 的 无 线 运 营 丙 之 一 工作 的 一 
位 高 级 管理 人 员 透 露 说 ， 数 据 持 有 人 在 认识 到 数据 的 巨大 价值 之 后 会 
研究 是 否 在 正式 的 会 计 条 球 中 将 其 作为 企业 的 资产 。 但 是 ， 一 旦 公司 
的 律师 得 知 此 事 ， 便 会 加 以 阻止 。 因 为 把 数据 计 入 账面 价值 可 能 会 使 
该 公司 承担 法 律 贡 任 ， 律 师 们 并 不 认为 这 是 一 个 好 主意 。 


同时 ， 投 资 者 也 开始 注意 到 数据 的 潜在 价值 。 拥 有 效 据 或 能 够 轻松 收 
集 数据 的 公司 ， 其 股价 会 上 涨 ; 而 其 他 不 太 幸 运 的 公司 ， 束 只 能 眼看 
着 目 己 的 市 值 缩水 。 因 为 这 种 状况 ， 数 据 并 不 要 求 其 价值 正式 显示 在 
资产 人 负 贷 表 中 。 尺 管 做 起 来 有 困难 ， 市 场 和 投资 者 还 古 会 给 这 些 无 形 
质 产 估价 ， 所 以 Facebook 的 股价 在 最 初 的 儿 个 月 中 一 直播 摆 不 定 。 但 
随 独 会 计 窒 境 和 责任 问题 得 到 缓解 ， 几 乎 可 以 肯定 数据 的 价值 将 显示 
在 企业 的 资产 负债 表 上 ， 成 为 一 个 新 的 资产 类 别 。 


那么 ， 如 何 给 数据 估 值 呢 ? 诚然 ， 计 算 价值 不 再 是 将 其 基本 用 途 简单 
地 加 总 。 但 是 如 采 数 据 的 大 部 分 价值 都 是 潜在 的 ， 需 要 从 未 知 的 二 次 
利用 提取 ， 那 么 人 们 目前 沿 不 清楚 应 该 如 何 估 算 它 。 这 个 难度 类 似 于 
在 20 世 纪 70 年 代 布 莱克 - 舒 尔 斯 期 权 定 价 理论 出 现 前 金融 衍生 品 的 定 
价 。 它 也 类 似 于 为 专利 佑 值 ， 因 为 随 着 各 种 拍卖 、 交 流 、 私 人 销售 、 
许可 和 大 量 诉 讼 的 出 现 ， 一 个 知识 市 场 正 在 逐渐 兴起 。 如 果 不 出 意 

外 ， 给 数据 的 潜在 价值 贴 上 价格 标签 会 给 金融 部 门市 来 无 限 商机 。 


一 个 办 法 是 从 数据 持 有 人 在 价值 提取 上 所 采取 的 不 同 策略 入 手 ， 最 党 
见 的 一 种 可 能 性 就 是 将 数据 授权 给 第 三 方 。 在 大 数据 时 代 ， 数 据 持 有 
人 倾向 于 从 被 提取 的 数据 价值 中 抽取 一 定 比 例 作 为 报酬 支付 ， 而 不 是 
癌 定 一 个 固定 的 数额 。 这 有 点 类 似 于 出 版 商 从 书籍 、 首 乐 或 电影 的 获 


利 中 抽取 一 定 比例 ， 作 为 文 付 给 作者 和 表演 者 的 特许 权 使 用 费 ; 也 类 

似 于 生物 技术 行业 的 知识 产权 交易 ， 许 可 人 要 求 从 基于 他 们 技术 成 采 

的 所 有 后 续 发 明 中 抽取 一 定 比 例 的 技术 使 用 费 。 这 样 一 来 ， 各 方 都 会 

努力 使 数据 再 利用 的 价值 达到 最 大 。 然 而 ， 由 于 被 许可 人 可 能 无 法 提 

取 数 据 全 部 的 潜在 价值 ， 因 此 数据 挂 有 人 可 能 还 会 同时 向 其 他 方 授 权 

o 两 边 下 注 以 避免 损失 。 因 而 , “数据 得 区 ?可 能 会 成 为 一 
GES 


一 些 试图 给 数据 定价 的 市 场 如 雨后春笋 般 出 现 。2008 年 在 冰岛 成 立 的 
DataMarket 同 人 人 和] 近 供 其 他 机 构 (如 联合 国 、 世 界 银 行 和 欧盟 统计 局 
SF) ba n 靠 倒卖 商业 供应 商 (如 市 场 研 究 公 司 ) 的 数据 来 
获 利 。 一 家 新 创办 ' 的 公司 InfoChimps， 其 总 sae ere aa 
WH, 希望 成 为 一 个 信息 中 间 人 人 供 第 三 方 以 免费 或 付费 的 方式 共 
EI THIRE © WA 合 人 们 提供 了 一 个 出售 家 中 搁置 不 用 的 物品 的 
平台 一 样 ， 这 些 科 技 创业 公司 想 为 任何 手中 拥有 数据 的 人 提供 一 个 出 
售 数据 的 平台 。 例 如 ，Import.io 辟 励 公司 授 权 别 人 使 用 自己 手中 的 数 
据 ， 不 然 别 人 也 可 以 从 网 上 人 免费 收集 到 这 些 数据 。 合 歌 的 前 员工 吉尔 : 
n. (Gil Elbaz) 创办 的 Factual 收 集 数据 ， 然 后 制 成 数据 库 供 需 


微软 也 市 着 它 的 Windows Azure DataMarket 登 上 了 历史 有 舞台 。 它 的 目标 

是 专注 高 质量 的 数据 和 监督 所 提供 的 产品 ， 其 方式 和 苹果 公司 监督 其 

应 用 程序 商店 中 的 产品 类 似 。 微 软 假设 ， 一 位 销售 主管 在 准备 Excel 表 

格 时 可 能 还 需要 做 一 份 公司 内 部 数据 和 来 目 经 济 磊 问 的 GDP 增 长 预测 

ee 要 点 击 想 要 购买 的 数据 ， 后 者 将 瞬间 出 现在 她 的 
让 屏幕 上 。 


到 目前 为 下 ， 没有 人 知道 估 值 模型 将 发 挥 出 怎样 的 作用 。 但 可 以 肯定 
的 是 ， 经 济 正 渐 渐 开 始 围绕 数据 形成 ， 很 多 新 玩家 可 以 从 中 受益 ， 而 
一 些 资深 玩家 则 可 能 会 找到 令 人 惊讶 的 新 生机 。 用 硅谷 技术 专家 和 科 
技 出 版 社员 工 蒂 姆 : 奥 菜 利 (Tim O&apos; Reilly) 的 话 来 说 就 

E, “数据 是 一 个 平台 ”， 因 为 数据 是 狐 产 品 和 新 商业 模式 的 基石 。 


大 数据 洞察 
数据 价值 的 关键 是 看 似 无 限 的 再 利用 ， 即 它 的 潜在 价值 。 收 集 信息 因 


然 至 关 重要 ， 但 还 远 远 不 够 ， 因 为 大 部 分 的 数据 价值 在 于 它 的 使 用 ， 
而 不 是 占有 本 吴 。 


下 一 章 ， 我 们 将 考察 数据 的 实际 运用 和 日 益 崛 起 的 大 数据 行业 。 


[即使 只 考虑 因 时 间 不 同 而 造成 新 旧 数 据 价 值 的 不 同 ， 也 不 是 一 个 容 
易 的 问题 。2010 年 Koren 在 《ACM 通 讯 》 上 题 为 "Collaborative Filtering 
with Temporal Dynamics” 的 文章 同 我 们 展示 了 这 一 单一 特征 亦 足以 巨 
大 地 影响 推荐 的 效果 。 att 


[2] Ta ea OW ee ERNARI, EH Expectation Maximization 


[3] 以 往 大 量 的 政府 信息 都 封锁 在 英国 旺 家 版 权 (Crown Copyright) F 
(比如 在 线 地 图 公司 用 到 的 邮递 区 
号 一 一 1E 


06 角色 定位 : Bia > RAG REN = Hw 


微软 以 1.1 亿 美元 的 价格 购买 了 大 数据 公司 Farecast， 而 两 年 后 谷歌 则 
以 7 亿美 元 的 价格 购买 了 给 Farecast 提 供 数 据 的 ITA Software 公 司 。 如 
今 ， 我 们 正 处 在 大 数据 时 代 的 早期 ， 思 维和 技术 是 最 有 价值 的 ， 但 是 
最 终 大 部 分 的 价值 还 是 必须 从 数据 本 号 中 挖掘 。 


【大 数据 先锋 】 
ITA software 与 数据 授权 
VISA & MasterCard 5 fi P HEF 
微软 研究 中 心 与 再 入 院 率 分 析 
埃 森 哲 与 无 线 传 感 监 测 系 统 
FlightCaster 的 大 数据 思维 
谷歌 与 亚马逊 ， 三 者 兼备 
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Decide.com 与 商品 价格 预测 

2011 年 ， 西 雅 图 一 家 叫 Decide.com 的 科技 公司 推出 了 一 个 雄心 勃勃 的 
门户 网 站 ， 它 想 为 无 数 顾客 预测 商品 的 价格 。 不 过 它 最 初 计划 的 业务 
范围 只 限于 电子 产品 ， 包 括 手 机 、 平 板 电视 、 数 码 相机 等 。 公 司 的 计 

算 机 会 收集 电子 商务 网 站 上 所 有 电子 产品 的 价格 数据 和 产品 信息 。 

网 络 产品 的 价格 受 一 系列 因素 的 影响 全 天 都 在 不 断 更 新 ， 所 以 公司 收 


集 的 价格 数据 必须 是 即时 的 。 这 不 仪 是 一 个 “大 数据 ”问题 ， 还 是 一 
个 “大 文本 ”问题 ， 因 为 系统 必须 进行 数据 分 析 ， 才 会 知道 一 个 产品 是 


不 是 下 架 了 或 者 是 不 是 有 新 产 品 要 发 布 了 ， 这 些 都 征用 户 想 知道 的 信 
轧 而 且 都 会 影响 产品 价格 。 


经 过 一 年 的 时 间 ，Decide.com 分 析 了 近 400 万 产品 的 超过 250 亿 条 价格 
信息 。 它 发 现 了 一 些 过 去 人 们 无 法 意识 到 的 怪异 现象 ， 比 如 在 新 产品 
发 布 的 时 候 ， 旧 一 代 的 产品 可 能 会 经 历 一 个 短暂 的 价格 上 浮 。 大 部 分 
人 都 习惯 性 地 认为 旧 产 品 更 便宜 ， 所 以 会 选择 买 旧 产品 ， 其 实 这 取决 
于 你 什么 时 候 购 买 ， 不 然 有 可 能 你 付出 的 金钱 比 购买 新 产品 还 要 多 。 
因为 电子 商务 网 站 都 开始 使 用 目 动 定价 系统 ， 所 以 Decide.com 能 够 发 
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大 数据 的 力量 


根据 公司 内 部 分 析 显 示 ， 它 的 预测 准确 率 可 以 达到 77%， 平 均 可 以 帮 
助 每 个 顾客 在 购买 一 个 产品 时 节省 100 美 元 。 


表面 上 ，Decide.com 整 像 众 多 前 途 光 明 的 科技 公司 一 样 ， 在 创 狐 地 使 
用 数据 、 赚 取 利 润 。 但 是 事实 上 ， 让 Decide.com 异 军 突起 的 不 是 数 
据 ， 不 是 技术 ， 而 是 思维 观念 。Decide.com 使 用 的 数据 都 来 自 电 子 商 
务 网 站 和 互联 网 ， 这 是 公开 的 数据 ， 每 个 人 都 可 以 利用 。 技 术 上 ， 公 
司 也 并 没有 无 可 替代 的 技术 人 才 。 所 以 ， 虽 然 数 据 和 技术 也 是 不 可 或 
缺 的 ， 但 是 真正 使 得 该 公司 取得 成 功 的 是 他 们 拥有 大 数据 的 思维 观 
念 。 它 先 人 一 步 地 控 据 出 了 数据 的 潜在 价值 。Decide.com 和 Farecast 之 
则 似乎 有 着 相通 性 ， 如 果 你 知道 它们 都 是 华盛顿 大 学 奥 伦 . 埃 齐 奥 尼 先 
生 的 杰作 ， 你 就 知道 原因 了 。 


圭一 革 中 ， 我 们 讨论 了 怎样 通过 创新 用 途 ， 挖 抉 出 数据 狐 的 价值 ， 主 
要 是 指 我 们 所 说 的 潜在 价值 。 如 今 ， 我 们 的 重点 转移 到 了 使 用 数据 的 
公司 和 它们 如 何 融 入 大 数据 价值 链 中 。 我 们 将 讨论 这 对 公司 、 个 人 的 
事业 和 生活 意味 着 什么 。 


大 数据 价值 链 的 3 大 构成 


根据 所 提供 价值 的 不 同 来 源 ， 分 别 出 现 了 三 种 大 数据 公司 。 这 三 种 来 
源 是 指 ， 数 据 本 身 、 技 能 与 思维 。 


第 一 种 是 基于 数据 本 身 的 公司 。 这 些 公司 拥有 大 量 数据 或 者 至 少 可 以 
收集 到 大 量 数 据 ， 却 不 一 定 有 从 数据 中 提取 价值 或 者 用 数据 催生 创新 
思想 的 技能 。 最 好 的 例子 就 是 Twitter， 它 拥有 海量 数据 这 一 点 是 毫 无 
疑问 的 ， 但 是 它 的 数据 痢 通 过 两 个 独立 的 公司 授权 给 别人 使 用 。 


第 二 种 是 基于 技能 的 公司 。 它们 通常 是 咨询 公司 、 技 术 供应 商 或 者 分 
析 公 司 。 它 们 掌握 了 专业 技能 但 并 不 一 定 拥 有 数据 或 提出 数据 创新 性 
用 途 的 才能 。 比 方 说 ， 沃 尔 玛 和 Pop-Tarts 这 两 个 零售 商 就 是 借助 天 豁 
(Teradata) 的 分 析 来 获得 营销 点 子 ， 天 蹇 就 是 一 家 大 数据 分 析 公 


第 三 种 是 基于 思维 的 公司 。 皮特 : 华 登 (Pete Warden) ，Jetpac 的 联合 
创始 人 ， 就 是 通过 想法 获得 价值 的 一 个 例子 。Jetpac 通 过 用 户 分 享 到 网 
上 的 旅行 照片 来 为 人 们 推荐 下 次 旅行 的 目的 地 。 对 于 某 些 公司 来 说 ， 
数据 和 技能 并 不 是 成 功 的 关键 。 让 这 些 公司 脱颖而出 的 是 其 创始 人 和 
员工 的 创新 思维 ， 他 们 有 怎样 挖掘 数据 的 新 价值 的 独特 想法 。 


大 数据 洞察 


到 目前 为 止 ， 前 两 种 因素 一 直 备 受 关注 ， 因 为 在 现今 世界 ， 技 能 依然 
欠缺 ， 而 数据 则 非常 之 多 。 近 年 来 ， 一 种 新 的 职业 出 现 了 ， 那 束 是 “ 数 
据 科 学 家 ”。 数 据 科 学 家 十 统计 学 家 、 软 件 程 序 员 、 图 形 设计 师 与 作家 
的 结合 体 。 与 通过 显微镜 发 现 事物 不 同 ， 数 据 科学 家 通过 探寻 数据 库 
来 得 到 新 的 发 现 。 全 球 知名 咨询 管理 公司 麦肯锡 ， 束 曾 极 端 地 预测 数 
据 科 学 家 是 当今 和 未 来 稀缺 的 资源 。 如 今 的 数据 科学 家 们 也 喜欢 用 这 
个 预测 来 提升 自己 的 地 位 和 工资 水 平 。 


同时 ， 合 歌 的 首席 经 济 学 家 哈 尔 : 范 里 安 (Hal Varian) 认为 统计 学 家 
是 世界 上 最 棒 的 职业 ， 他 的 这 种 说 法 非常 著名 。“ 如 果 你 想 成 功 ， 你 不 
应 该 成 为 一 个 普通 的 、 可 被 随意 替代 的 人 ， 你 应 该 成 为 稀缺 的 、 不 可 
蔡 代 的 那 类 人 ，?” 他 还 说 ，“ 数 据 非 常 之 多 而 且 具 有 战略 重要 性 ， 但 是 
真正 缺少 的 是 从 数据 中 提取 价值 的 能 力 。 这 也 束 是 为 什么 统计 学 家 、 
数据 库 管 理 者 和 掌握 机 需 理 论 的 人 是 真正 了 不 起 的 人 。” 


但 是 ， 过 分 强调 扩 术 和 技能 而 忽视 数据 本 号 的 重要 性 也 是 不 可 取 的 。 
随 看 计算 机 行业 的 发 展 ， 人 力 技 术 的 落后 会 被 慢 慢 地 克服 ， 而 范 里 安 
所 侈 党 的 技能 将 会 变 成 十 分 普通 的 事情 。 认 为 当今 世界 数据 非常 之 
多 ， 所 以 收集 数据 很 价 单 而 且 数 据 价 值 并 不 高 的 想法 站 绝对 错误 的 


ne 


一 一 数据 才 是 最 核心 的 部 分 。 要 知道 原因 ， 就 必须 考虑 到 大 数据 价值 
链 的 各 个 部 分 ， 以 及 它们 会 如 何 发 展 变 化 。 


大 数据 掌控 公司 


大 数据 最 值钱 的 部 分 殊 古 它 目 喘 ， 所 以 最 和 完 考 虑 数据 拥有 者 才 古 明知 
的 。 他 们 可 能 不 是 第 一 手 收集 数据 的 人 ， 但 是 他 们 能 接触 到 数据 、 有 
权 使 用 数据 或 者 将 数据 授权 给 淘 望 控 扬 数据 价值 的 人 。 


大 数据 先锋 
ITA Software 与 数据 授权 


四 大 机 票 预订 系统 之 一 的 ITA Software 中 束 为 Farecast 提 供 预 测 机 票 价 
格 所 需要 的 数据 ， 而 它 目 身 并 不 进行 这 种 数据 分 析 。 为 什么 呢 ? 因为 
商业 定位 不 一 样 ， 毕 竞 出 售 机 票 已 经 很 不 容易 了 ， 上 所 以 ITA 并 不 考虑 
这 些 数据 的 额外 利用 。 因 此 ， 两 家 公司 的 核心 竞争 力也 会 不 同 。 当 

然 ， 还 有 就 是 ITA 并 没有 这 种 创新 想法 ， 如 果 它 能 像 Farecast 一 样 利用 
数据 ， 那 么 就 需要 问 奥 伦 : 埃 齐 奥 尼 先 生 购 买 专利 使 用 权 了 。 


当然 ， 它 在 大 数据 价值 链 上 所 处 的 位 置 也 决定 了 它 不 会 这 样 去 使 用 数 
据 。“ITA 会 尽量 避免 用 任何 数据 来 又 露 航空 公司 的 利润 问题 。*ITA 的 
创始 人 之 一 也 是 前 CTO 卡 尔 : 德 马 肯 (Carl de Marcken) 如 是 说 。 他 还 
说 ，“ITA 能 够 得 到 这 些 数 据 而 且 必 须 拥 有 这 些 数 据 ， 因 为 它们 是 ITA 
在 提供 服务 时 必须 具备 的 。” 但 是 ，ITA 有 意 与 这 些 数 据 保持 一 定 的 距 
离 ， 所 以 目 己 不 使 用 而 是 授权 别人 使 用 。 结 果 不 难 预见 ，ITA 只 从 
Farecast 那 里 分 得 了 小 小 的 一 杯 赣 。Farecast 得 到 了 数据 大 部 分 的 间接 
价值 ， 它 把 其 中 一 部 分 价值 以 更 便宜 的 机 票 的 形式 转移 给 了 它 的 用 
户 ， 而 把 这 种 价值 带 来 的 利润 分 给 了 它 的 股东 以 及 员工 。Farecast 通 过 
广告 、 佣金， 当然 最 后 通过 出 售 公司 本 身 获 取 利 润 。 


有 的 公司 精明 地 把 目 己 放 在 了 这 个 信息 链 的 核心 ， 这 样 它们 就 能 扩大 
规模 、 挖 气 数 据 的 价值 。 信 用 卡 行业 的 情况 就 符合 这 一 点 。 多 年 来 ， 
防范 信用 诈骗 的 高 成 本 使 得 许多 中 小 银行 都 不 愿意 发 行 目 己 的 信用 

卡 ， 而 十 由 大 型 金融 机 构 发 行 ， 因 为 只 有 它们 才能 大 规模 地 投入 人 力 
物力 发 展 防范 技术 。 美 国 第 一 资本 银行 和 美国 银行 这 样 的 大 型 金融 机 
构 束 承担 了 这 个 工作 。 但 是 现在 小 银行 后 悔 了 ， 因 为 没有 目 己 发 行 的 


信用 卡 ， 它 们 就 无 从 得 知客 户 的 消费 模式 ， 从 而 不 能 为 客户 提供 定制 
化 服务 。 


大 数据 先锋 
VISA&&%MasterCard 与 商户 推荐 


相对 地 ， 像 VISA 和 MasterCard 这 样 的 信用 卡 发 行商 和 其 他 大 银行 就 站 
在 了 信息 价值 链 最 好 的 位 置 上 。 通 过 为 小 银行 和 商家 提供 服务 ， 它 们 
能 够 从 目 己 的 服务 网 获取 更 多 的 交易 信息 和 顾客 的 消费 信息 。 它 们 的 
商业 模式 从 单纯 的 处 理 文 付 行为 转变 成 了 收集 数据 。 接 下 来 的 问题 就 
是 ， 如 何 使 用 收集 到 的 数据 。 


就 像 ITA 一 样 ，MasterCard 也 可 以 把 这 些 数据 授权 给 第 三 方 使 用 ， 但 是 
它 更 倾 癌 于 目 己 分 析 、 控 掘 数据 的 价值 。 一 个 称 为 MasterCard 
Advisors 的 部 门 收 集 和 分 析 了 来 自 210 个 国家 的 15 亿 信用 卡 用 户 的 650 
亿 条 交易 记录 ， 用 来 预测 商业 发 展 和 客户 的 消费 趋势 。 然 后 ， 它 把 这 
些 分 析 结 果 卖 给 其 他 公司 。 它 发 现 ， 如 果 一 个 人 在 下 午 四 点 左右 给 汽 
车 加 油 的 话 ， 他 很 可 能 在 接 下 来 的 一 个 小 时 内 要 去 购物 或 者 去 餐馆 吃 
饭 ， 而 这 一 个 小 时 的 花费 大 概 在 35~50 美 元 之 间 。 商 家 可 能 正 需 要 这 
样 的 信息 ， 因 为 这 样 它们 就 能 在 这 个 时 间 段 的 加 油 小 票 背 面 附 上 加 油 
站 附近 商店 的 优惠 券 。 


处 于 这 个 数据 链 的 中 心 ，MasterCard 占 据 了 收集 数据 和 挖掘 数据 价值 
的 黄金 位 置 。 我 们 可 以 想象 ， 未 来 的 信用 卡 公司 不 会 再 对 交易 收取 佣 
金 ， 而 是 免费 提供 支付 服务 。 作 为 回报 ， 它 们 会 获得 更 多 的 数据 ， 而 
人 它们 又 可 以 卖 掉 分 析 结 果 以 取得 利 
A ° 


大 数据 技术 公司 


第 二 种 类 型 就 是 拥有 技术 和 专业 技能 的 公司 。MasterCard 远 择 了 目 己 
分 析 ， 有 的 公司 选择 在 两 个 类 型 之 间 游 黎 ， 但 是 还 有 一 部 分 公司 会 选 
择 发 展 专业 技能 。 比 方 说 ， 埃 森 哲 咨询 公司 束 与 各 行 各 业 的 公司 合作 
应 用 高 级 无 线 感应 技术 来 收集 数据 ， 然 后 对 这 些 数据 进行 分 析 。 


大 数据 的 力量 


2005 年 ， 在 埃 森 哲 与 密苏里 州 圣 路 易 斯 市 共同 合作 的 一 个 实验 项 
中 ， 它 给 20 辆 公交 车 安装 了 无 线 传感器 来 监测 车 辆 引 警 的 工作 情况 。 
这 些 数据 被 用 来 预测 公交 车 什么 时 候 会 抛 锁 以 及 维修 的 最 佳 时 机 。 研 
究 促 使 车 辆 更 换 零 件 的 周期 从 30 万 或 者 40 万 公里 变 成 了 50 万 公里 ， 仅 
这 一 项 研究 结果 就 帮助 该 城市 节省 了 60 万 美元 。 在 这 里 ， 获 益 的 不 是 
埃 森 哲 ， 而 是 圣路易斯 市 。 


在 医学 数据 领域 ， 我 们 可 以 看 到 一 个 关于 技术 公司 如 何 能 提供 有 效 服 
务 的 很 好 的 例子 。 位 于 华盛顿 州 的 华盛顿 中 心 医 院 与 微软 研究 中 心 合 
作 分 析 了 多 年 来 的 匿名 医疗 记录 ， 涉 及 患者 人 口 统计 资料 、 检 查 、 诊 
断 、 治 疗 资料 ， 等 等 。 这 项 研究 是 为 了 减少 感染 率 和 再 入 院 率 ， 因 为 
这 两 项 所 耗费 的 费用 是 医疗 卫生 领域 最 大 的 一 部 分 ， 所 以 任何 可 以 减 
少 哪怕 是 很 小 比例 的 方法 都 意味 着 市 省 巨大 的 开 文 。 


这 项 研究 发 现 了 很 多 惊人 的 相关 关系 :在 一 系列 情况 下 ， 一 个 出 院 了 
的 病人 会 在 一 个 月 之 内 再 次 入 院 。 有 一 些 情 况 是 众所周知 但 还 没有 找 
到 好 的 解决 办 法 的 ， 比 方 说 ， 一 个 患 充 血性 心力 袁 竟 的 病人 束 很 有 可 
能 再 次 入 院 ， 因 为 这 十 非常 难 医 治 的 病 。 但 是 研究 也 发 现 了 一 个 出 人 
意料 的 重要 因素 ， 那 就 是 病人 的 心理 状况 。 如 果 对 病人 最 初 的 诊断 中 
有 类 似 * 压 抑 ” 这 种 上 暗示 心理 疾病 的 词 的 话 ， 病 人 再 度 入 院 的 可 能 性 大 


很 多 。 


虽然 这 种 相关 关系 对 于 建立 特定 的 因 采 关系 并 无 帮助 ， 但 是 这 表明 ， 
如 条 病 人 出 院 之 后 的 医学 干预 是 以 解决 病人 的 心理 问题 为 重心 ， 可 能 
会 更 有 利于 他 们 的 喘 体 健 康 。 这 样 束 可 以 提供 更 好 的 健康 服务 ， 降 低 
再 入 院 率 和 医疗 成 本 。 这 个 相关 关系 是 机 如 从 一 大 堆 数 据 中 人 筷 计 出 来 
的 ， 也 是 人 类 可 能 永远 都 发 现 不 了 的 。 微 软 不 控制 数据 ， 这 些 数据 只 
属于 医院 ， 微 软 没有 出 彩 的 想法 ， 那 并 不 是 这 里 需要 的 东西 ， 相 反 ， 
微软 只 古 近 供 了 分 析 工具 ， 也 就 是 Amalga 系 统 来 玫 助 发 现 有 价值 生 信 


Q 


REGEN A AKER PORSCHE AT OMEL o (Ee, BAET A 
ENR, MARINA Sant NSA, (RRS AH 
没有 想象 中 那么 粮 眼 。 他 们 在 大 数据 中 淘金 ， 发 现 了 金 银 珠宝 ,可 赴 
最 后 却 要 把 这 些 财富 拱手 让 给 大 数据 拥有 者 。 


大 数据 思维 公司 和 个 人 


第 三 种 类 型 是 有 着 大 数据 思维 的 公司 和 个 人 。 他 们 的 优势 在 于 ， 他 们 
能 先 人 一 步 发 现 机 遇 ， 尽 管 本 吴 并 不 拥有 数据 也 不 具备 专业 技能 。 事 
实 上 ， 很 可 能 正 因为 他 们 是 外 行人 ， 不 具备 这 些 特点 ， 他 们 的 思维 才 
能 不 受 限 制 。 他 们 思考 的 只 有 可 能 ， 而 不 考虑 所 谓 的 可 行 。 


大 数据 先锋 
FlightCaster 的 大 数据 思维 


布 拉 德 福 德 : 克 罗 斯 (Bradford Cross) 用 拟人 手法 解释 了 什么 是 有 大 数 
据 思 维 。2009 年 8 月 ， 也 就 是 在 他 20 多 岁 的 时 候 ， 他 和 四 个 朋友 一 起 创 
办 了 FlightCastercom。 和 FlyOnTime.us 类 似 ， 这 个 网 站 致力 于 预测 航 

班 是 否 会 晚点 。 它 主要 基于 分 析 过 去 十 年 里 每 个 航班 的 情况 ， 然 后 将 
其 与 过 去 和 现实 的 天 气 情 况 进行 匹配 。 


有 趣 的 是 ， 数 据 拥有 考 就 做 不 到 这 样 的 事情 "因为 数据 拥有 者 没有 这 
样 使 用 数据 的 动机 和 强制 要 求 。 事 实 上 ， 如 果 美 国运 输 统计 局 、 美 国 
联邦 航空 局 和 美国 天 气 服 务 这 些 数 据 拥 有 者 敢 将 航班 晚点 预测 用 作 商 
业 用 途 的 话 ， 国 会 可 能 就 会 举办 听证 会 并 否决 这 个 提议 。 所 以 使 用 数 
据 的 任务 就 落 到 了 一 群 不 蝇 的 数学 才子 的 里 上 。 同 样 ， 航 空 公司 不 可 
以 这 么 做 ， 也 不 会 这 么 做 ， 因 为 这 些 数据 所 表达 的 信息 越 隐 蔽 对 它们 
就 越 有 利 。FlightCaster 的 预测 是 如 此 的 准确 ， 就 连 航空 公司 的 职员 也 
开始 使 用 它 了 。 但 是 需要 注意 的 一 点 就 是 ， 虽 然 航 空 公司 是 信息 的 源 
eae 秒 它 是 不 会 公布 航班 晚点 的 ， 所 以 它 的 信息 是 不 
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的 ， 但 也 没 比 别人 快 多 少 。 所 谓 大 数据 思维 ， 是 指 一 种 意识 ， 认 为 公 
开 的 数据 一 旦 处 理 得 当 就 能 为 千 百 万 人 急需 解决 的 问题 提供 答案 。 
2009 年 8 月 ，FlightCaster 公 开发 布 了 。 同 一 个 月 ，FlyOnTime.us 的 计算 
机 专家 们 也 开始 搜刮 公开 的 数据 建立 他 们 的 网 站 。 最 终 ，FlightCaster 
的 优势 慢 慢 地 减弱 了 。2011 年 1 月 ， 克 罗斯 和 他 的 同伴 把 网 站 卖 给 了 
Next Jump， 这 是 一 个 使 用 大 数据 技术 进行 企业 折扣 管理 的 公司 。 


之 后 ， 克 罗斯 把 他 的 目光 转向 了 男儿 \ 新 闻 行业 。 

发 现 ， 这 里 是 一 个 创新 型 的 外 行人 可 以 大 有 作为 的 宝地 。 他 的 科技 创 
新 公司 Prismatic 收 集 网 上 资源 并 排序 ， 这 种 排序 建立 在 文本 分 析 、 用 
户 喜好 、 社 交 网 络 普及 和 大 数据 分 析 的 基础 之 上 。 重 要 的 是 ， 这 个 系 
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报 》 上 的 一 篇 报道 ， 只 要 它 的 内 容 相关 并 且 很 受 欢迎 束 能 排 在 很 靠 前 
ie o 而 关于 是 否 受 欢迎 ， 征 通过 它 的 点 击 率 和 分 享 次 数 来 体现 


作为 一 项 服务 ，Prismatic 关 注 的 是 年 青 一 代 与 媒体 进行 交流 的 新 方 
法 ， 信 息 的 来 源 并 不 重要 。 同 时 ， 这 也 给 那些 目 视 过 高 的 主流 媒体 提 
了 一 个 醒 : 公众 的 力量 要 远 远 超过 它们 ， 而 西装 革履 的 记者 们 也 需要 
与 一 群 不 修 边 幅 的 博 主 进行 竞争 。 也 许 最 令 人 无 法 想象 的 是 ， 
Prismatic 居 然 是 从 新 闻 领 域内 部 诞生 出 来 的 ， 虽 然 它 确实 收集 了 大 量 
的 数据 。 美 国 国家 记者 俱乐部 (National Press Club) 的 常客 从 来 没有 
想 过 要 再 利用 网 上 的 媒体 资源 ， 阿 蒙 殉 、 纽 约 和 印度 班加罗尔 的 分 析 
专家 们 也 没有 想 过 要 用 这 种 方法 来 使 用 数据 。 克 罗斯 顶 着 一 头 于 松 的 
头发 ， 说 话 知 吞吐 吐 ， 可 就 是 这 样 一 个 不 起 眼 的 外 行人 ， 想 到 了 也 做 
eS eee 《纽约 时 报 》 更 有 用 的 信 
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大 数据 思维 这 个 概念 以 及 一 个 拥有 创新 思维 的 人 的 地 位 ， 与 20 世 纪 90 
年 代 电 子 商务 初期 出 现 的 情况 古 不 一 样 的 。 电 子 商务 先驱 者 们 的 思想 
没有 被 传统 行业 的 固有 思维 和 制度 缺陷 所 限制 ， 因 此 ， 在 对 冲 基 金工 
作 的 金融 工程 师 态 夫 ' 贝 索 斯 创建 了 网 上 书店 亚马逊 而 不 是 巴 诡 书 店 昌 

; 软件 开发 工程 师 皮 埃 尔 - 奥 米 迪 亚 (Pierre Omidyar) 开发 了 一 个 拍卖 
网 站 而 不 是 苏 富 比 (Sotheby's) 号 。 如 今 ， 拥 有 大 数据 思维 的 领导 者 
通常 目 己 并 不 拥有 数据 资源 。 但 区 ® 是 因为 这 样 ， 他 们 不 会 受 既 得 利 蔡 
和 金钱 欲望 这 样 的 因素 影响 而 阻碍 自己 的 想法 实践 。 


忠 像 我 们 看 到 的 ， 也 有 公司 集合 了 大 数据 的 多 数 特点 。 埃 齐 奥 尼 和 殉 
罗斯 不 仅 比 别人 早 一 步 有 了 这 些 决 胜 的 思想 ， 他 们 也 有 技术 优势 。 

Teradata 和 埃 森 哲 的 员工 不 仅 规 规矩 矩 地 打卡 上 班 ， 还 时 不 时 会 有 些 机 
灵 的 点 子 。 这 些 原型 都 有 助 于 我 们 认识 不 同 公 司 所 承担 的 角色 。 我 们 
在 上 一 章节 中 提 到 的 手机 公司 掌握 了 海量 的 数据 却 不 知道 该 如 何 使 

用 ， 然 而， 它们 可 以 把 这 些 数 据 授权 给 有 能 力 挖掘 出 数据 价值 的 人 。 
同样 地 ，Twitter 一 早 束 决定 把 它 所 掌握 的 海量 数据 授权 给 了 两 家 公 

司 。 如 今 的 大 数据 先 红 者 们 通常 都 有 着 交 广 学科 背景 ， 他 们 会 将 这 些 
知识 与 目 己 所 掌握 的 数据 技术 相 结合 ， 应 用 于 广泛 的 领域 之 中 。 痢 一 
代 的 天 使 投资 人 和 企业 家 正在 诞生 ， 他 们 主要 是 来 目 谷歌 已 经 离职 的 
员工 和 所 谓 的 “Paypal 黑 手 党 "a。 他 们 与 少量 的 计算 机 科学 家 一 起 充当 


了 当今 许多 数据 科技 公司 的 最 大 靠山 。 这 种 将 企业 和 个 人 置 于 大 数据 
价值 链 中 的 创新 性 想法 促使 我 们 重新 审视 公司 的 存在 价值 。 比 方 说 ， 
Salesforce 不 再 是 一 个 单纯 为 企业 提供 应 用 软件 的 平台 ， 它 还 能 挖掘 这 
些 软 件 所 收集 到 的 数据 并 且 释 放出 它们 的 巨大 价值 。 


大 数据 先锋 
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有 些 比较 幸运 的 公司 就 有 计划 地 同时 涉足 了 这 三 个 方面 。 一 个 很 典型 
的 例子 就 是 谷歌 ， 它 收集 搜索 时 拼写 错误 的 数据 ， 它 也 有 利用 这 些 数 
据 创 建 一 个 世界 上 最 好 的 拼写 检查 程序 的 好 点 子 ， 同 时 它 目 身 也 具备 
挖掘 数据 价值 的 技术 。 合 歌 在 大 数据 价值 链 中 同时 充当 的 这 三 个 不 同 
的 角色 ， 与 谷歌 其 他 项 目 整合 后 为 谷歌 融 来 了 巨大 的 利润 。 除 此 之 
外 ， 谷 歌 还 通过 应 用 程序 接口 (APIs) 把 它 掌握 的 部 分 数据 授权 别人 
使 用 ， 这 样 数据 就 能 重复 使 用 还 可 以 产生 附加 价值 。 合 歌 地 图 就 古 这 
ee 
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同样 ， 亚 马 逊 也 是 数据 、 技 能 、 思 维 三 者 兼备 。 事 实 上 ， 该 公司 的 商 
业 模 式 束 是 按 这 个 顺序 确定 的 ， 虽然 这 与 第 规 不 符 。 刚 开始 的 时 候 ， 
天 于 它 备 受 赞 誉 的 推荐 系统 ， 亚 马 进 只 有 一 个 初步 的 想法 。 它 在 其 
1997 年 的 股票 市 场 简介 中 首先 描述 了 "协同 过 滤 ”， 这 发 生 在 它 找 到 实 
施 这 个 想法 的 方法 和 配备 足够 的 数据 资源 之 前 。 


虽然 谷歌 和 亚 马 示 都 是 三 者 兼 具 ， 但 是 它们 的 商业 沉 略 并 不 相同 。 谷 
歌 在 刚 开 始 收集 数据 的 时 候 ， 束 已 经 融 有 多 次 使 用 数据 的 想法 。 比 方 
说 ， 它 的 街景 采集 车 收集 全 球 定位 系统 数据 不 光 古 为 了 创建 谷歌 地 
图 ， 也 是 为 了 制 成 全 目 动 汽车 。 相 对 地 ， 亚 号 进 更 关注 的 是 数据 的 基 
本 用 途 而 且 也 只 把 数据 的 二 级 用 途 作 为 额外 收益 。 比 方 说 ， 它 的 推荐 
系统 把 用 户 浏览 过 的 网 页 数据 作为 线索 ， 但 是 它 并 没有 利用 它 预 测 经 
济 状况 和 流感 爆发 。 


亚 蕊 还 的 Kindle 电 子 书 阅读 器 记录 了 一 些 读 首 反 复 标 注 和 强调 过 的 内 
容 ， 但 生 亚 马 逊 并 没有 把 这 些 数 据 信 息 卖 给 作者 或 是 出 版 社 。 书 商 肯 
定 很 乐意 知道 哪些 段落 是 受 读者 喜欢 的 ， 因 为 这 样 他 们 束 能 提高 销 

量 ; 作者 应 该 也 想 知道 书籍 的 哪些 地 方 不 受 读 者 欢迎 ， 这 样 他 们 就 能 
根据 读者 的 喜好 提高 作品 质量 ， 出 版 社 则 可 以 通过 这 些 数 据 知 道 哪些 


题 的 书籍 更 有 可 能 成 为 畅销 书 。 但 是 ， 亚 马 逊 把 这 些 数 据 都 雪藏 
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式 。 我 们 举 一 个 典型 的 例子 ， 通 过 得 到 竞争 对 手 所 没有 的 行业 信息 ， 
欧洲 一 家 汽车 制造 商 重新 定位 了 与 它 的 一 个 零件 供应 两 的 关系。 © 


如 今 的 汽车 装 满 了 芯片 、 传 感 器 和 各 种 软件 ， 一 经 启动， 它们 束 会 及 
时 把 汽车 状况 信息 发 送 到 制造 商 的 电脑 上 。 一 个 典型 的 中 档 车 大 概 有 
60 个 微型 处 理 右 ， 车 上 电子 仪 絮 的 价值 占 了 车 辆 总 价值 的 三 分 之 一 。 
车 载 电 子 仪 器 之 多 使 汽车 成 了 “漂浮 的 观 景 台 ”， 这 本 是 英里 用 来 形容 
山 般 的 。 而 这 些 设备 监控 到 的 汽车 零 部 件 的 工作 状况 ， 能 够 在 整合 之 
后 用 来 提高 汽车 的 质量 ， 因 此 ， 能 够 掌握 这 些 数据 的 公司 拥有 非常 大 
的 竞争 优势 。 


汽车 制造 商 通 过 与 行业 外 的 数据 分 析 公 司 合作 发 现 ， 德 国 供 货 商 供应 
的 油箱 的 蒸汽 泄漏 检测 传 感 费 存在 一 些 问 题 ， 它 会 对 好 的 油箱 产生 错 
翅 报 和 警 达 16 次 。 汽 车 制造 商 可 以 把 这 些 信息 反馈 给 供 货 商 要 求 修理 。 
在 商业 环境 更 加 和 谐 的 情况 下 ， 也 许 会 发 生 上 面 说 到 的 情况 ， 但 是 既 
然 汽 车 制造 商 已 经 在 这 个 项 目 上 伦 费 了 一 大 笔 线 ， 它 束 会 利用 这 个 数 
据 挽 回 一 点 点 损失 。 


所 以 ， 汽 车 制造 商 开 始 考虑 到 底 应 该 怎么 做 : 卖 掉 这 个 数据 ? 它 值 多 
少 钱 呢 ? 如 果 供 货 商 推卸 责任 呢 ? 如 果 有 是 我 自己 在 操作 过 程 中 出 现 了 
失误 呢 ? 而 且 它 知 道 ， 一 旦 公布 了 信息 ， 和 目 己 用 同样 零件 的 竞争 对 
手 也 会 改进 他 们 的 车 。 更 明智 的 选择 应 该 是 ， 这 些 数 据 只 能 让 目 己 受 
益 ， 目 己 的 汽车 能 够 有 所 改进 。 最 终 ， 汽 车 制造 商 想 到 了 一 个 好 主 
意 。 它 通过 改进 软件 而 改进 了 这 个 零件 ， 而 且 为 这 次 改进 申请 了 专 
利 。 然 后 ， 它 把 这 项 专利 卖 给 了 供 货 商 ， 价 格 是 很 长 一 段 时 间 内 进行 
数据 分 析 的 成 本 的 忌 额 。 


全 新 的 数据 中 间 商 


谁 在 这 个 大 数据 价值 链 中 获 蔡 最 大 呢 ? 现在 看 来 ， 应 该 是 那些 拥有 大 
数据 思维 或 者 说 创新 性 思维 的 人 。 殊 像 我 们 所 见 的 一 样 ， 目 从 信息 时 
代 以 来 ， 这 些 第 一 个 吃 崂 蟹 的 人 都 发 了 大 财 。 但 是 ， 这 种 先决 优势 并 
不 能 维持 很 长 的 时 间 。 随 着 大 数据 时 代 的 推进 ， 别 人 也 会 吸收 这 种 思 
维 ， 然 后 那些 先驱 者 的 优势 况 会 逐渐 减弱 。 
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那么 ， 核 心 价值 会 不 会 在 技术 上 ? 毕竟 ， 一 个 金太 的 价值 也 只 有 在 它 
被 挖掘 出 来 之 后 才 有 意义 。 但 是 ， 计 算 机 的 历史 却 否 定 了 这 一 想法 。 
如 今 ， 在 数据 库 管理 、 数 据 科 学 、 数 据 分 析 ` 仙 器 学 习 时 法 等 关 似 行 
业 的 技能 确实 很 走俏 。 但 是 ， 随 着 大 数据 成 为 人 们 生活 的 一 部 分 ， 而 
ASU TAS SAE DEARTH RREH 会 掌握 这 些 技 
天 以 这 些 技能 的 价值 就 会 相对 减少 ， 整 像 20 世 纪 60~80 年 代 之 间 
计算 机 编程 技术 变 得 越 来 越 普遍 一 样 。 。 现 在， 国外 的 外 包公 司 使 得 基 
础 的 计算 机 编程 技术 越 来 越 廉价 ， 如 今 它 甚至 成 为 了 世界 贫困 人 口 的 
致富 驱动 力 ， 而 不 再 代表 痢 高 端 技术 。 当 然 ， 这 一 DH DEWAR 
oe Reid Ne KOE IME AE BOR ° FRE, BORE 
里 


大 数据 洞察 


现今 ， 我 们 正 处 在 大 数据 时 代 的 早期 ， 思 维和 技能 是 最 有 价值 的 ， 但 
征 最 终 ， 大 部 分 的 价值 还 是 必须 从 数据 本 身 中 挖 据 。 因 为 在 未 来 ， 我 
们 可 以 利用 数据 做 更 多 的 事情 ， 而 数据 拥有 者 们 也 会 真正 意识 到 他 们 
所 拥有 的 财富 。 因 此 ， 他 们 可 能 会 把 他 们 手中 所 拥有 的 数据 抓 得 更 

e onan 其 出 售 。 继 续 用 人 金 矿 来 打 比 方 ， 只 有 金子 才 
是 真正 什 


然而 ， 如 果 数 据 拥有 者 做 长 远 打 算 的 话 ， 有 一 个 小 问题 十 分 值得 关 

注 : 那 束 是 在 有 些 情况 下 会 出 现 “ 数 据 中 间 人 ”， 它 们 会 从 各 种 地 方 搜 
集 数据 进行 整合 ， 然 后 再 提取 有 用 的 信息 进行 利用 。 数 据 拥有 者 可 以 
eee 因为 有 些 数据 的 价值 只 能 通过 中 间 人 来 控 
H 。 


大 数据 先锋 
数据 中 间 两 ， 交 通 数 据 处 理 公司 Inrix 


所 部 位 于 西雅图 的 交通 数据 处 理 公司 Inrix 就 古 一 个 很 好 的 例子 。 它 汇 
集 了 来 自 美 洲 和 欧洲 近 1 亿 辆 汽车 的 实时 交通 数据 。 这 些 数据 来 目 宝 
马 、 福 特 、 丰 田 等 私家 车 ， 还 有 一 些 商 用 车 ， 比 如 出 租车 和 货车 。 私 
家 车 主 的 移动 电话 也 是 数据 的 来 源 。 这 也 解释 了 为 什么 它 要 建立 一 个 
免费 的 智能 手机 应 用 程序 ， 因 为 一 方面 它 可 以 为 用 户 提供 免费 的 交通 
信息 ， 男 一 方面 它 目 己 束 得 到 了 同步 的 数据 。Inrix 通 过 把 这 些 数 据 与 
历史 交通 数据 进行 比 对 ， 再 考虑 进 天 气 和 其 他 诸如 当地 时 事 等 信息 来 


预测 交通 状况 。 数 据 软 件 分 析出 的 结果 会 被 同步 到 汽车 卫星 导航 系统 
中 ， 政 府 部 门 和 商用 车 队 都 会 使 用 它 。 


Inrix 是 典型 的 独立 运作 的 大 数据 中 间 商 。 它 汇聚 了 来 目 很 多 汽车 制造 
商 的 数据 ， 这 些 数据 能 产生 的 价值 要 远 远 超过 它们 被 单独 利用 时 的 价 
值 。 每 个 汽车 制造 商 可 能 都 会 利用 它们 的 车 辆 在 行驶 过 程 中 产生 的 成 
于 上 万 条 数据 来 预测 交通 状况 ， 这 种 预测 不 是 很 准确 也 并 不 全 面 。 但 
征 随 痢 数 据 量 的 沿 增 ， 了 预测 结果 会 越 来 越 准 确 。 同 样 ， 这 些 汽车 制造 
商 并 不 一 定 掌握 了 分 析 数 据 的 技能 ， 它 们 的 强项 十 造 车 ， 而 不 是 分 析 
泪 松 分 布 。 所 以 它们 都 愿意 第 三 方 来 做 这 个 预测 的 事情 。 另 外 ， 虽 然 
交通 状况 分 析 对 鸭 驶 员 来 说 非常 重要 ， 但 是 这 几乎 不 会 影响 到 一 个 人 
征 否 会 购车 。 所 以 ， 这 些 同行 业 的 竞 争 者 们 并 不 介意 通过 行业 外 的 中 
间 商 汇聚 它们 手 里 的 数据 。 


当然 ， 很 多 行业 已 经 有 过 信息 共享 了 ， 比较 著名 的 有 你 险 商 实验 室 
还 有 一 些 已 经 联网 了 的 行业 ， 比 如 银行 业 、 能 源 和 通信 行业 。 > 在 这 些 
行业 里 ， 信 息 交流 是 避免 问题 最 重要 的 一 环 ， 监 管 部 门 也 要 求 它们 信 
息 互 通 。 市 场 研 究 公 司 把 几 十 年 来 的 数据 都 汇集 在 一 起 ， 就 像 一 and 
门人 负责 审计 报刊 发 行 量 的 公司 一 样 。 这 是 一 些 行业 联 器 组 织 的 主要 职 


(0) 


ani 
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如 今 不 同 的 是 ， 数 据 开 始 进入 市 场 了 。 数 据 不 再 是 单纯 意义 上 的 数 
据 ， 它 被 挖掘 出 了 新 的 价值 。 比 方 说 ，Inrix 收 集 的 交通 状况 数据 信息 
会 比 表面 看 上 去 有 用 得 多 ， 它 被 用 来 评测 一 个 地 方 的 经 济 情 况 ， 因 为 
ET ADEPT ALE SRA MARTE ODES < 2011F, AE 

RTT AER, HOR BURR Gre, (eit Mal NEE 
ARE THR. Inrix ARA, 上 下 班 高 峰 时 期 的 交通 状 
况 变 好 了 ， 这 也 吏 说 明 失 业 率 增加 了 ， 经 济 状况 变 关 了。 同时 ，Inrix 
把 它 收集 到 的 数据 卖 给 了 一 个 投资 基金 ， 这 个 投资 基金 把 交通 情况 视 
作 一 个 大 型 零售 商场 销量 的 代表 ， 一 旦 附近 车 辆 很 多 ， 束 说 明 商 场 的 
销量 会 增加 。 在 商场 的 季度 财政 报表 公布 之 前 ， 这 项 基金 还 利用 这 些 
数据 分 析 结 果 换 得 了 商场 的 一 部 分 股份 。 


大 数据 价值 链 上 还 出 现 了 很 多 这 样 的 中 间 人 “。 比 较 早 期 的 一 个 束 是 
Hitwise， 现 在 它 已 经 补益 百 利 收购 了。 Hitwise 与 一 些 互联 网 服务 公司 
合作 ， 它 文 付 给 这 些 公司 一 些 费 用 以 使 用 它们 的 数据 。 这 些 数据 只 是 
以 一 个 固定 的 低 价 授权 给 Hitwise， 而 不 是 按 它 所 得 利润 的 比例 抽 成 。 
这 样 一 来 ，Hitwise 作 为 中 间 人 束 得 到 了 大 部 分 的 利润 。 男 一 个 中 间 人 


A ate Quantcast, “Eee Bh id Se a TY a E 

评 用 户 的 年 龄 、 收 入 、 喜 好 等 个 人 信息 ， 然 后 向 用 户 发 送 有 和 针对 性 的 

定 同 广告 。 它 提供 了 一 个 在 线 系统 ， 网 站 通过 这 个 系统 束 能 记录 用 户 

A 而 Quantcast 就 能 得 到 这 些 数据 来 帮助 自己 提高 定 同 广 告 
S R 2X o 


这 些 中 间 人 在 这 个 价值 链 中 站 在 了 一 个 收益 丰厚 的 位 置 上 ， 但 是 它们 
并 没有 威胁 到 为 他 们 提供 数据 的 数据 拥有 者 的 利润 。 现 在 ， 广 告 业 是 
一 个 高 利润 行业 ， 因 为 大 部 分 的 数据 都 藏身 于 此 ， 而 社会 各 行 各 业 都 
急切 地 需要 通过 挖 据 这 些 数据 进行 是 疝 广 告 。 随 着 越 来 越 多 的 事情 被 
数据 化 ， 越 来 越 多 的 行业 意识 到 它们 与 数据 有 交流 ， 这 些 独 立 的 数据 
中 间 人 也 会 在 别处 出 现 。 


有 有 时， 这些 中 间 人 不 一 定 是 商业 性 质 的 组 织 ， 也 可 能 是 非 理 利 性 的 ， 
比如 ，2011 年 由 美国 几 个 最 大 的 医疗 保险 公司 联合 创立 的 卫生 保健 成 
本 协会 (Health Care Cost Institute) 。 它 们 的 数据 汇集 了 来 自 3300 万 人 
的 50 亿 份 保 单 ， 当 然 这 都 是 匿名 的 。 数 据 共享 之 后 ， 这 些 公 司 可 以 看 
到 在 一 个 较 小 的 独立 数据 库 里 看 不 到 的 信息 。2008 年 9 月 ， 这 个 超大 型 
数据 库 束 有 了 第 一 个 重大 发 现 ， 那 就 是 美国 的 医疗 花费 比 通货 脱 胀 率 
的 增长 速度 快 3 倍 之 多 。 但 是 在 各 个 细微 方面 的 情况 就 各 有 不 同 了 : 其 
中 和 急诊 室 治 疗 费 用 上 涨 了 11%， 而 护理 设施 的 价格 实际 上 是 下 跌 了 

的 。 显 然 ， 医 疗 保险 公司 是 不 可 能 把 它 的 价格 数据 给 除非 营利 性 机 构 
T 。 这 个 组 织 的 动机 更 明确 ， 运 行 更 透明 化 且 更 富有 
责 Ò ° 


大 数据 公司 的 多 样 性 表明 了 数据 价值 的 转移 。 在 Decide.com 的 案例 

中 ， 产 品 价格 和 新 产品 的 发 布 数 据 都 是 由 合作 的 网 站 提供 的 ， 然 后 合 
作 双 方 共同 分 享 利润 。Decide.com 通 过 人 们 在 这 些 网 站 购买 产品 而 赚 
取 佣 金 ， 同 时 提供 这 些 数 据 的 公司 也 取得 了 部 分 利润 。 相 比 ITA 提 供 
给 Farecast 的 数据 不 抽取 佣金 而 只 是 收取 基本 授权 费用 的 情况 ， 这 说 明 
了 这 个 行业 的 逐渐 成 熟 一 一 如 今 数 据 提供 者 会 更 占 优势 。 不 难 想 象 ， 

埃 齐 奥 尼 的 下 一 个 科技 公司 应 该 就 会 自己 收集 数据 了 ， 因 为 数据 的 价 
值 已 经 从 技术 转移 到 了 数据 自 吴 和 大 数据 思维 上 。 


随 着 数据 价值 转移 到 数据 拥有 者 手 上 ， 传 统 的 商业 模式 也 被 址 覆 了 。 
上 文 提 到 的 与 供 货 商 进行 知识 产权 交易 的 欧洲 汽车 制造 两 束 拥 有 一 个 
非常 专业 的 数据 分 析 团 队 ， 但 是 还 需要 一 个 科技 公司 来 蔡 它 挖掘 数据 
的 价值 。 这 个 科技 公司 肯定 是 可 以 得 到 报酬 的 ， 但 是 大 头 还 是 被 这 个 


汽车 制造 两 赚 走 了 。 不 过 ， 这 个 科技 公司 发 现 了 商机 ， 于 是 它 改 变 了 
它 的 商业 模式 ， 它 为 客户 承担 一 定 的 风险 ， 因 为 有 风险 整 有 回报 。 而 
且 ， 它 用 部 分 报酬 换取 了 一 部 分 的 分 析 结 采 ， 因 为 这 个 分 析 结果 是 可 
以 循环 使 用 的 。 比 如 ， 对 于 汽车 配件 供应 丙 来 说 ， 它 们 未 来 肯定 都 想 
为 它们 的 产品 加 上 测试 仪 或 者 把 提供 产品 评估 数据 写 进 销售 合同 的 标 
准 条 款 中 ， 这 样 它 们 就 能 随时 改进 产品 的 质量 了 。 


对 于 中 间 商 来 说 ， 公 司 之 间 不 愿意 进行 数据 共享 的 问题 会 让 他 们 感到 
很 头疼 。 比 如 Inrix 束 不 再 只 收集 关于 地 理 位 置 的 数据 了 “。2012 年 ， 它 
号 天 于 车 辆 的 目 动 制 动 系统 何 时 何 地 会 生效 进行 了 分 析 ， 因 为 有 一 家 
汽车 制造 商用 它 的 遥感 勘测 系统 实时 地 收集 了 这 些 数据 。 它 们 认为 如 
林 车 辆 的 目 动 制 动 系统 在 某 段 路 上 老 是 局 动 的 话 ， 就 说 明 这 段 路 比较 
和 危险， 应 该 考虑 更 换 路 径 。 所 以 Inrix 不 仅 能 够 推荐 最 便捷 的 路 径 ， 而 
且 可 以 推荐 最 安全 的 路 径 。 但 古 这 个 制造 商 并 不 想 和 别人 分 译 这 些 数 
据 ， 也 不 愿 分 享 它 的 全 球 定 位 系统 收集 到 的 数据 。 相 反 ， 它 有 要求 Inrix 
只 能 在 它 生产 的 车 上 安装 这 个 系统 。 在 制造 商 看 来 ， 公 开 这 些 数据 似 
乎 比 汇 聚众 人 的 数据 一 起 来 所 高 系统 的 整体 精确 性 更 有 价值 。 但 即便 
如 此 Inrix 也 相信 ， 到 最 后 ， 所 有 的 汽车 制造 商 部 会 意识 到 数据 共 至 的 
好 处 。Inrix 有 一 种 强烈 的 乐观 精神 ， 作 为 一 个 数据 中 间 商 ， 它 的 运行 
完全 古 依靠 多 种 多 样 的 数据 来 源 。 


大 数据 时 代 中 的 公司 正在 体验 着 不 同 的 两 业 模 式 。 作 为 中 间 商 的 Inrix 
把 它 的 工作 重心 放 在 了 设计 上 ， 这 与 众多 科技 创业 公司 的 商业 模式 不 
同 。 人 微软 掌握 着 技术 的 核心 专利 ， 但 是 它 却 认为 ， 一 个 独立 的 小 公司 
可 能 更 容易 被 接受 ， 更 有 利于 汇聚 行业 内 各 方 的 数据 并 从 知识 产权 中 
获 利 最 大 。 还 有 ， 微 软 用 来 分 析 病 患 再 入 住 率 的 Amalga 系 统 曾 经 殉 是 
华盛顿 中 心 医院 目 己 的 内 部 急 钙 室 软 件 Azyxxi， 这 古 医院 在 2006 年 卖 
给 微软 公司 的 ， 因 为 考虑 到 微软 更 有 能 力 把 这 个 软件 做 好 和 挖掘 出 这 
些 数 据 的 湾 在 价值 。 


2010 年 UPS 就 把 它 的 UPS Logistics Technologies 部 门 卖 给 了 一 家 叫 
Thoma Bravo 的 私人 股本 公司 。 如 今 ， 它 已 经 变 成 了 Roadnet 

Technologies， 可 以 为 多 家 公司 进行 线路 分 机 。Roadnet 从 客户 手中 收 
集 大 量 数据 ， 同 时 为 UPS 和 和 它 的 竞争 者 提供 行业 内 广 受 认可 的 标杆 性 
服务 。Roadnet 的 首席 执行 官 兰 .肯尼迪 (Len Kennedy) 解释 说 , “如 上 
是 UPS Logistics， 那 么 UPS 的 竞争 对 手 肯 定 不 会 交 出 它们 的 数据 ， 
此 ， 只 有 让 它 变 成 一 个 独立 的 公司 ，UPS 的 竞争 对 手 才 会 愿意 拿 出 它 


/出 


们 的 数据 。” 最 终 ， 每 个 公司 都 从 中 受益 了 ， 因 为 数据 汇集 之 后 ， 系 统 
的 精确 性 束 更 高 了 。 

认为 数据 目 生 而 不 是 技术 和 思维 更 值钱 的 想法 ， 在 大 数据 时 代 的 多 笔 

商业 交易 中 都 有 所 体现 。2006 年 ， 微 软 以 1.1 亿 美元 的 价格 购 严 了 埃 齐 


奥 尼 的 大 数据 公司 Farecast。 而 两 年 后 ， 合 歌 以 7 亿美 元 的 价格 购买 了 
为 Farecast 提 供 数 据 的 ITA Software 公 司 。 


专家 的 消亡 与 数据 科学 家 的 崛起 
在 《点 球 成 金 》 这 部 关于 奥克兰 运动 家 棒球 队 如 何 通 过 利用 统计 学 和 
数学 建 模 的 方式 分 析 数 字 ， 从 而 取得 最 终 胜 利 的 电影 中 ， 有 一 个 有 趣 
WIR, Wie ATE ERR A TE SS VEER io LAR Ma BAL E 
RIRH, MAKEN TAR BOR ERY SE EMR SE BUTE , 
而 且 因为 我 们 都 经 历 过 这 种 依赖 情感 而 不 是 科学 进行 判断 的 情况 。 
一 个 球 探 说 , “他 不 错 ， 有 天 赋 .…… 而 且 长 得 也 不 错 。” 


一 个 满 头 白 发 、 戴 着 助听器 的 老人 虚弱 地 附和 道 , “他 击 打动 作 不 错 ， 
球 一 被 碰 到 就 一 下 子弹 出 去 老 远 。” 


另 一 个 球 探 也 附和 说 ,“ 击 打 很 大 声 。， 

有 一 个 球 探 打 断 了 对 话 ， 说 ，“ 他 女 朋 友 真 丑 。” 

会 议 的 负责 人 说 ，“ 那 是 什么 意思 2 ” 

那个 人 似乎 很 肯定 地 说 ,“ 女 朋友 丑 说 明 没 自信 呀 ! > 

“很 好 ! "负责 人 对 回答 很 满意 ， 然 后 会 议 继续 。 

开 了 一 会 玩笑 之 后 ， 一 个 一 直 没 说 话 的 球 探 说 , “这 个 人 有 很 大 的 气 


场 。 我 的 意思 是 ， 他 还 没 上 场 呢 ， 对 手 就 已 经 提前 感受 到 了 他 的 气 
HA Oy 


另 一 个 人 附和 道 ，“ 他 通过 了 长 相 测试 ， 长 得 不 错 。 他 随时 都 能 打球 ， 
只 是 需要 点 儿 上 场 时 间 。， 


那个 党 年 持 不 办 同意 见 的 人 反复 说 “我 就 是 说 说 ， 他 的 女 朋友 真是 长 


这 个 场景 完全 展示 了 人 类 判断 的 误区 。 一 个 似乎 经 过 了 理智 讨论 的 事 
情 其 实 是 在 没有 什么 实际 标准 的 情况 下 做 出 的 决定 。 签 约 一 个 几 百 万 
美元 年 薪 的 球员 ， 也 只 是 看 感觉 ， 没 有 什么 客观 标准 的 。 是 的 ， 这 只 
征 电影 中 的 场景 ， 但 是 生 活 中 这 种 情况 也 多 得 是 。 这 个 场景 之 所 以 有 具 
有 讽刺 意味 ， 融 是 因为 这 是 普 调 存在 的 ， 从 曼哈顿 的 会 议 室 、 半 国 总 
统 办 公 室 到 街角 咖啡 壳 ， 任 何 地 方 ， 这 种 空 泛 的 推理 都 到 处 盛行 。 


影片 《点 球 成 金 》 改 编目 迈克 尔 . 刘 易 斯 的 《 魔 球 一 逆境 中 制胜 的 智 
过 》。 讲 述 的 是 一 个 真实 的 故事 ， 介 绍 奥克兰 运动 家 棒球 队 〈 又 称 绿 
巾 队 或 白 象 队 ) 总 经 理 比 利 : 比 恩 (Billy Beane) 的 经 营 哲 学 ， 描 写 了 
他 抛弃 几 百 年 一 直 依 赖 的 选择 球员 的 传统 惯例 ， 采 用 了 一 种 依靠 电脑 
程序 和 数学 模型 分 析 比 赛 数 据 来 选择 球员 的 方法 。 他 并 没有 采用 那些 
像 “ 棒 球 击 球 率 ” 这 样 传统 的 标准 ， 而 是 采用 了 看 上 去 很 奇怪 的 、 类 
似 “ 上 至 率 ” 这 样 的 标准 。 这 个 方法 发 现 了 这 项 体育 赛事 的 男 一 面 ， 始 
终 存在 却 一 直 被 忽略 了 的 一 面 。 一 个 球员 怎样 上 驹 并 不 要 紧 ， 不 管 是 
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ee 比 利 : 比 恩 也 不 会 再 关注 这 种 华 而 不 
实 的 技能 。 


在 一 片 批评 与 质疑 声 中 ， 比 恩 的 “ 赛 伯 计量 学 ”(\Sabermetrics) 在 奥 克 
兰 运动 家 棱 球 队 的 办 公 室 里 被 馈 记 了 下 来 ， 这 是 以 体育 新 闻 记 者 比尔 : 
詹姆斯 (Bill James) 在 美国 高 级 棒球 研究 协会 (Society for Advanced 
Baseball Research) 中 的 工作 命名 的 。 直 到 现在 ， 美 国 高 级 棒球 研究 
协会 一 直 是 一 种 奇特 的 亚 文化 的 中 心 。 比 恩 打 破 一 切 常 规 惯 例 ， 束 如 
同 伽利略 用 “太阳 中 心 论 ” 来 挑战 天 主教 的 权威 一 样 。 最 终 ， 比 恩 带领 
这 文 备 受 争议 的 球 队 在 2002 年 的 美国 联盟 西部 赛 中 村 得 冠军 ， 还 取得 
了 20 场 连 胜 的 战绩 。 从 那 以 后 ， 统 计 学 家 取代 球 探 成 为 了 棒球 专家 ， 

很 多 其 他 球 队 也 开始 争 相 采用 “ 赛 伯 计量 学 ”来 指导 球 队 运作 。 


同样 地 ， 人 类 从 依靠 目 身 判断 做 决定 到 依靠 数据 做 决定 的 转变 ， 也 是 
大 数据 做 出 的 最 大 贡献 之 一 。 行 业 专家 和 技术 专家 的 光芒 都 会 因为 统 
计 学 家 和 数据 分 析 家 的 出 现 而 变 瞳 ， 因 为 后 者 不 受 旧 观念 的 影响 ， 能 
够 聆听 数据 发 出 的 声音 。 他 们 的 判断 建立 在 相关 关系 的 基础 上 ， 没 有 
受到 偏见 和 成 见 的 影响 ， 这 束 如 同 莫 里 中 校 不 把 干 瘦 的 船长 在 酒吧 咯 
酒 时 所 说 的 航道 信息 当真 一 样 。 他 们 的 判断 完全 依赖 于 汇集 起 来 的 数 


据 所 显示 出 的 实际 信息 ， 所 以 有 着 牢靠 的 根基 。 莫 里 所 采用 的 方法 并 
没有 解释 风向 和 水 流 为 什么 是 这 样 的 原因 ， 但 是 对 于 想 安 全 航海 的 航 
海 家 来 说 ,“ 什 么 ”和 “哪里 * 比 “为 什么 ”更 加 重要 。 


如 今 ， 我 们 正在 见证 专家 在 各 个 领域 影响 力 的 减弱 。 在 传媒 界 ， 如 “ 赫 
芬 顿 邮 报 ” (Huffington Post) 和 高 客 网 (Gawker) 这 些 网 站 上 传播 的 
渐 闻 通常 取决 于 数据 ， 而 不 再 取决 于 编辑 的 新 闻 敏 感度 。 数 据 比 有 经 
验 的 记者 更 能 揭示 出 哪些 是 符合 大 众 口 味 的 新 闻 。Coursera， 一 家 网 
上 教育 公司 ， 深 度 地 研究 它 收 集 的 所 有 数据 ， 比 如 学 生 重 放 过 讲座 视 
频 的 哪个 片段 ， 从 而 找 出 不 明确 或 者 很 吸引 人 的 地 方 ， 然 后 反馈 给 设 
计 课 程 的 团队 。 这 在 以 前 是 做 不 到 的 ， 所 以 老师 的 教育 方法 一 定 会 改 
变 。 职 像 我们 在 前 文 提 到 过 的 ， 当 贝 索 斯 发 现 算法 推荐 能 促进 销量 增 
加 的 时 候 ， 他 束 不 再 使 用 公司 的 书籍 评论 员 了 。 


这 都 意味 着 ， 与 时 俱 进 才 是 在 职业 领域 取得 成 功 的 必 备 技能 ;这 样 的 
员工 能 随时 满足 公司 对 他 们 的 期 望 。 安 大 略 的 考 格 雷 戈 医生 不 需要 是 
医院 里 最 好 的 医生 ， 也 不 需要 是 产 前 护理 的 世界 权威 ， 束 能 给 早产 儿 
提供 极 好 的 治疗 ， 因 为 她 采用 的 治疗 方法 是 电脑 在 处 理 了 近 十 年 的 病 
患 记录 数据 之 后 推荐 的 。 事 实 上 ， 她 也 有 计算 机 科学 专业 的 博士 学 


人 


正如 我 们 所 见 ， 大 数据 的 先锋 们 通常 并 不 来 自 于 他 们 做 出 了 极 大 贡献 
的 领域 。 他 们 是 数据 分 析 家 、 人 工 智能 专家 、 数 学 家 或 者 统计 学 家 ， 
但 是 他 们 把 他 们 所 掌握 的 技能 运用 到 了 各 个 领域 。Kaggle 的 首席 执行 
官 安东尼 : 戈 德 布 鲁 姆 (Anthony Goldbloom) 说 ， 在 这 个 大 数据 项 目 
竞赛 平台 上 取得 胜利 的 人 通常 不 来 自 于 他 们 做 出 成 绩 的 领域 。 


一 个 英国 物理 学 家 设计 了 一 个 算法 系统 来 预测 保险 索赔 和 发 现 二 手 车 
的 质量 问题 ， 这 个 系统 差点 就 获胜 了 ; 还 有 一 个 新 加 坡 的 精算 师 在 一 
个 预测 人 体 对 化 合 物 的 生理 反应 项 目 中 取得 了 胜利 ， 同 时 ， 在 谷歌 的 
机 器 翻译 团队 中 ， 这 些 工 程 师 们 都 不 会 说 他 们 翻译 出 的 语言 ， 类 似 的 
还 有 ， 微 软 机 器 翻译 部 门 的 统计 学 家 们 在 茶余饭后 的 谈 痪 束 是 说 每 次 
一 有 语言 学 家 离开 他 们 团队 ， 翻 译 的 质量 整 会 变 好 一 点 。 


当然 ， 行 业 专家 是 不 会 真正 消亡 的 ， 只 是 他 们 的 主导 地 位 会 发 生 改 

变 。 未 来 ， 大 数据 人 才 会 与 他 们 一 样 身 居 高 位 ， 束 像 趾 高 气 扬 的 因果 
关系 必须 与 卑微 的 相关 关系 分 享 它 的 光 芯 一样。 这 改变 了 我 们 怎样 看 
竺 知识 的 价值 ， 因 为 我 们 往往 倾 同 于 把 专业 人 才 看 得 比 全 才 更 重要 ， 
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于 “小 数据 ”时 代 ， 当 时 人 类 掌握 的 数据 永远 不 够 多 也 不 够 准确 ， 所 以 
需要 依赖 直觉 和 经 验 指导 。 在 那个 时 代 ， 经 验 是 先决 的 ， 因 为 只 有 通 
过 这 种 无 法 从 书本 上 和 别人 口中 得 到 的 、 埋 藏 在 潜意识 里 的 知识 的 积 
索 ， 我 们 才能 做 出 更 明帝 的 决 是 。 


但 是 当 你 遭遇 海量 数据 的 时 候 ， 你 束 能 通过 挖掘 数 据 而 得 到 更 多 。 所 
以 大 数据 分 析 家 会 把 过 去 看 成 是 迷信 和 成 规 ， 这 不 是 因为 他 们 更 聪 
明 ， 而 是 因为 他 们 拥有 了 这 个 财富 之 源 一 一 数据 。 同 时 ， 作 为 外 行 
人 ， 他 们 不 会 被 行业 内 的 争论 所 限制 ， 因 为 他 们 不 会 被 目 己 所 文 持 一 
方 的 观点 所 影响 而 产生 偏见 ， 这 是 他 们 与 行业 专家 不 一 样 的 地 方 。 这 
一 切 都 意味 着 ， 一 个 员工 是 否 对 公司 有 页 献 的 判断 标准 改变 了 。 这 也 
忠 意 味 厦 ， 你 要 学 的 东西 、 你 要 了 解 的 人 ， 你 要 为 你 的 职业 生涯 所 做 
的 准备 都 改变 了 。 


数学 和 统计 学 知识 ， 甚 至 是 有 少许 编程 和 网 络 科 学 的 知识 将 会 成 为 现 
代 工 厂 的 基础 ， 一 如 百年 前 的 计算 能 力 或 者 更 早 之 前 的 文学 。 人 类 的 
价值 将 不 再 体现 在 与 思维 类 似 的 同行 的 交际 上 ， 而 体现 在 与 各 行 各 业 
的 人 的 交际 上 ， 因 为 这 样 知识 残 能 广泛 而 深刻 地 进行 传播 。 过 去 ， 要 
成 为 一 个 优秀 的 生物 学 家 就 需要 认识 很 多 生物 学 家 ， 这 并 没有 完全 改 
变 。 但 是 如 今 ， 不 只 是 专业 技能 的 深度 很 重要 ， 大 数据 的 广度 也 变 得 
很 重要 。 要 想 解 决 一 个 生物 难题 ， 或 许 与 天 体 物理 学 家 或 者 数据 视图 
设计 师 联系 束 可 以 实现 。 


在 电子 游戏 领域 ， 大 数据 的 普通 人 才 早 已 经 和 高 级 专家 站 在 了 一 起 ， 
他 们 正在 一 同 改变 这 个 行业 。 该 行业 每 年 收入 近 100 亿 美元 ， 比 好 及 境 
的 票房 收入 还 要 多 。 过 去 ， 游 戏 公司 会 设计 一 个 游戏 ， 发 布 它 ， 指 望 
它 能 一 炮 而 红 。 然 后 ， 公 司 会 考虑 到 销售 情况 ， 有 要 么 继续 推出 升级 
版 ， 要么 开始 研发 新 游戏 。 游 戏 的 速度 、 人 物 、 情 广 、 物 品 和 事件 的 
设 定 都 是 基于 设计 师 的 创造 力 ， 这 些 设计 师 对 答 工 作 的 认真 程度 就 像 
米 开 表 基 罗 画 西 斯 廷 教堂 时 一 样 。 但 是 ， 这 是 一 | ] 忆 术 而 不 是 科学 ， 
纪 术 讲究 的 古 直 觉 和 情感 ， 束 像 《 点 球 成 金 》 中 球 探 们 所 表现 的 一 
样 ， 然 而 那个 时 代 已 经 过 去 了 。 


zynga 的 FarmVille，FrontierVille，FishVille 和 其 他 网 络 游戏 都 是 交互 式 
游戏 。 表 面 上 ， 这 些 游 戏 允 许 zynga 收 集 用 户 数 据 以 及 在 这 些 数据 的 基 
础 上 对 游戏 进行 修改 ， 而 事实 上 ， 这 些 游戏 远 远 不 止 一 个 版 本 。 因 为 
公司 可 以 收集 到 游戏 中 的 数据 ， 所 以 一 旦 有 玩家 难以 过 关 或 者 因为 某 
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然后 对 游戏 进行 修改 ， 但 是 更 加 隐 性 的 是 ， 该 公司 会 针对 不 同 的 玩家 
设计 不 同 的 游戏 ， 像 FarmVille 就 有 好 几 百 个 版 本 。 


这 个 公司 的 大 数据 分 析 家 们 通过 颜色 或 者 是 否 有 玩家 看 到 他 的 朋友 正 
在 使 用 这 些 产 品 ， 来 研究 虚拟 产品 的 销量 是 否 增加 了 。 比 方 说 ， 当 数 
据 显示 FishVille 的 玩家 购买 透明 鱼 的 数量 是 其 他 产品 的 6 倍 的 时 候 ， 
zynga 吏 会 通过 多 出 售 透 明 鱼 而 读 取 更 高 利润 。 在 Mafia Wars 中 ， 数 据 
则 显示 玩家 更 豆 欢 购 头 有 人 金边 的 武 硕 和 纯 日 的 穹 物 老 虎 。 这 些 痢 不 是 
一 个 游戏 设计 师 在 工作 室 里 能 发 现 的 东西 ,但 古 数 据 束 能 把 这 些 信息 
传递 出 来 。zynga 的 首席 分 析 师 肯 : 鲁 本 说 道 ,，“ 我 们 打 看 游 戏 公 司 的 由 
实际 上 在 做 的 是 分 析 公 司 的 事 。 我 们 的 运作 都 是 以 数据 为 基础 


这 种 转变 意义 非凡 。 大 部 分 人 往往 都 通过 经 验 、 回 忆 以 及 猜测 做 决 
定 ， 就 像 W.H. 奥 登 (Wystan Hugh Auden) 的 名 诗 中 所 说 的 “知识 退化 
成 骚乱 的 主观 脐 想 ， 那 是 太阳 神经 从 的 感情 引起 的 营养 不 足 ”。 坐落 于 
马萨诸塞 州 的 巴 布 森 学 院 商 科教 授 托马斯 : 达 文 波 特 (Thomas 
Davenport) 是 多 部 数据 分 析 著 作 的 作者 ， 他 把 这 种 情感 称 为 “黄金 般 
的 直觉 ”。 执 行 官 们 信任 目 己 的 直觉 ， 所 以 由 着 它 做 决定 。 但 是 ， 随 着 
管理 决策 越 来 越 受 预测 性 分 析 和 大 数据 分 析 的 影响 和 控制 ， 依 徘 直觉 
做 决定 的 情况 将 会 被 彻底 改变 。 


大 数据 先锋 
The-Numbers.com 与 电影 票房 预测 


比方 说 ，The-Numbers.com 在 好 莱 雹 电影 上 映 之 前 ， 就 能 利用 海量 数据 
和 特定 算法 预测 出 一 部 电影 的 票房 ， 而 这 些 信息 整 可 以 为 电影 制 片 人 
所 用 。 该 公司 拥有 一 个 包括 了 过 去 几 十 年 美国 所 有 商业 电影 大 约 3000 
万 条 记录 的 数据 库 ， 数 据 库 里 有 所 有 关于 预算 、 电 影 流派 、 拍摄 、 阵 
容 、 获 得 奖项 和 收入 等 数据 。 电 影 的 收入 是 指 在 北美 和 全 球 的 票房 、 
海外 版 权 销售 收入 、 影 碟 销 售 收入 以 及 租金 等 。 公 司 创始 人 兼 忌 裁 布 
和 鲁 斯 -纳什 (Bruce Nash) 说 ， 我 们 公司 开发 了 一 个 网 络 系统 ， 其 中 有 
er 曾 与 B 导 演 合 作 过 ，C 守 演 曾 与 D 演 员 合 作 过 ”这 样 


oe a 区 的 收入 。 借助 于 这 

预测 ， 电 影 制 片 人 可 以 癌 工 作 室 或 投资 ° The-Numbers. T 
HL Pee E FR DLS ARE 一 次 ， 它 的 分 析 
发 现 有 一 部 电影 要 是 启用 获得 过 奥斯卡 提名 的 、 身 价 在 500 万 美元 左右 
的 某 位 一 线 演员 做 男 一 号 的 话 ， 更 有 可 能 票房 大 卖 。 还 有 一 次 ， 
告诉 IMAX 工 作 室 ， 一 部 航海 纪录 片 需要 把 预算 从 1200 万 美元 减少 

i Cae remia as Ne 


从 是 否 出 品 一 部 电影 到 签 下 哪个 三 垒 手 ， 公 司 的 决策 过 程 已 经 有 了 本 
质 且 明显 的 改变 。 o 麻 省 理工 学 院 商 学 院 教 授 埃 里 克 : 布 伦 乔 尔 森 (Erik 
Brynjolfsson) 和 他 的 同事 一 起 进行 了 一 项 研究 ， 发 现 决 策 依赖 数据 的 
公司 的 运营 情况 比 不 重视 数据 的 公司 出 色 很 多 一 一 这 些 公 司 的 生产 率 
比 不 使 用 数据 进行 决策 的 公司 高 6%。 这 是 一 个 重要 的 竞争 力 ， 虽 然 随 
着 大 数据 手段 被 越 来 越 多 的 公司 采用 ， 这 种 竞争 力 会 慢 慢 削弱 。 


大 数据 ， 决 定 企 业 竞 争 力 
大 数据 成 为 许多 公司 竞争 力 的 来 源 ， 从 而 使 整个 行业 结构 都 改变 了 。 


当然 ， 每 个 公司 的 情况 各 有 不 同 。 大 公司 和 小 公司 最 有 可 能 成 为 属 
人 


<< 


HEARD Sh aK PPT UE AE BR i, (Ee A 
工业 时 代 不 一 样 ， 它 们 的 企业 竞争 力 并 不 是 体现 在 庞大 的 生产 规模 

己 经 拥有 的 技术 配备 规模 固然 很 重要 ， 但 那 也 不 是 它们 的 核心 芜 
和 争 力 ， 毕 葛 如 今 已 经 能 够 快速 而 廉价 地 进行 大 量 的 数据 存储 和 处 理 
了 。 公 司 可 以 根据 实际 需要 调整 它们 的 计算 机 技术 力量 ， 这 样 就 把 固 
0 0 0 
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规模 仍然 很 重要 ， 但 是 如 今 重要 的 是 数据 的 规模 ， 也 就 是 说 要 掌握 大 
量 的 数据 而 且 要 有 能 力 轻 松 地 获得 更 多 的 数据 。 所 以 ， 随 大 拥有 的 数 
Pe ert rami nae eM eaten 

J] 价值 。 


大 数据 向 小 数据 时 代 的 赢家 以 及 那些 线 下 大 公司 (如 沃尔玛 、 联 邦 快 
> AAA] > BROS) MAA) 提出 了 挑战 ， 后 者 必须 意识 到 
大 数据 的 威力 然后 有 策略 地 收集 和 使 用 数据 。 同 时 ， 科 技 创业 公司 和 
新 兴 行 业 中 的 老牌 企业 也 准备 收集 大 量 的 数据 。 


在 过 去 十 年 里 ， 航 空 发 动机 制造 商 荔 斯 菜 斯 通过 分 析 产 品 使 用 过 程 中 
收集 到 的 数据 ， 实 现 了 商业 模式 的 转型 。 坐 落 于 英格兰 德比 郡 的 邦 斯 
羔 斯 运 膏 中 心 一 直 监 控 大 全球 范 围 内 超过 3700 架 飞机 的 引擎 运行 情 
况 ， 为 的 就 是 能 在 故障 发 生 之 前 发 现 问 题 。 数 据 帮 助 劳 斯 莱 斯 把 简单 
的 制 千 转 变 成 了 有 附加 价值 的 商业 行为 ， 劳 斯 羔 斯 出 售 发 动机 ， 同 时 
通过 按时 计 费 的 方式 提供 有 偿 监 控 服 务 (一 旦 出 现 问 题 ， 还 进一步 提 
供 维修 和 更 换 服 务 ) 。 如 今 ， 民 用 航空 发 动机 部 门 大 约 70% 的 年 收入 
都 是 来 目 其 提供 服务 所 赚 得 的 费用 。 


大 数据 先锋 
出 “ 浴 伏 ”的 数据 价值 


华 采 公司 进军 移 动手 机 行业 吏 是 一 个 很 好 的 例子 。 在 iPhone 推出 之 
Hl, Bona s ti MH 了 大 量具 有 潜在 价值 的 数据 ， 但 是 没 
能 深入 挖 据 其 价值 。 相 反 ， 苹 果 公 司 在 与 运营 商 签 订 的 合约 中 规定 运 
营 商 要 提供 给 它 大 部 分 的 有 用 数据 。 通 过 来 目 多 个 运 宫 商 提 供 的 大 量 
数据 ， 苹 采 公 司 所 得 到 的 关于 用 户 体验 的 数据 比 任何 一 个 运营 商都 要 
多 。 蔷 采 公 司 的 规模 效益 体现 在 了 数据 上 ， 而 不 是 固有 资产 


活 的 小 公司 能 至 受到 非 国 有 资产 规模 市 来 的 好 处 。 这 也 就 古 说 ， 它 们 
可 外 没有 很 多 的 男 有 次 突 产 但 是 存在 感 非常 强 ， 也 可 以 低 成 本 地 传播 它 
们 的 创新 成 果 。 重 要 的 是 ， 因 为 最 好 的 大 数据 服务 都 是 以 创新 思维 为 
基础 的 ， 所 以 它们 不 一 定 需要 大 量 的 原始 资本 投入 。 数 据 可 以 授权 但 
是 不 能 被 占有 ， 数 据 分 析 能 在 云 处 理 平 台 上 快速 而 且 低 成 本 地 进行 ， 
而 授权 费用 则 应 从 数据 市 来 的 利益 中 抽取 一 小 部 分 


大 大 小 小 的 公司 都 能 从 大 数据 中 获 利 ， 这 个 情况 很 有 可 能 并 不 只 是 适 
用 于 使 用 数据 的 公司 ， 也 适用 于 掌握 数据 的 公司 。 大 数据 拥有 者 想 尽 
办 法 想 增 加 它们 的 数据 存储 量 ， 因 为 这 样 能 以 极 小 的 成 本 市 来 更 大 的 
利润 。 自 匈 ， 它 们 已 经 具备 了 存储 和 处 理 数据 的 基础 。 其 次 ， 数 据 库 
的 融合 能 市 来 笠 有 的 价值 。 最 后 ， 数 据 使 用 者 如 果 只 需要 从 一 人 手中 
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购 得 数据 ， 那 将 更 加 省 时 省 力 。 不 过 实际 情况 要 远 远 复杂 得 多 ， 可 能 
还 会 有 一 群 处 在 另 一 方 的 数据 拥有 者 (个 人 ) 诞生 。 因 为 随 着 数据 价 
值 的 显现 ， 很 多 人 会 想 以 数据 拥有 者 的 吴 份 大 展 身 手 ， 他 们 收集 的 数 
据 往 往 是 和 目 身 相关 的 ， 比 如 他 们 的 购物 习惯 、 观 影 习惯 ， 也 许 还 有 
医疗 数据 等 。 


这 使 得 消费 者 拥有 了 比 以 前 更 大 的 权利 。 消 费 者 可 以 目 行 决 定 把 这 些 
数据 中 的 多 少 授权 给 哪些 公司 。 当 然 ， 不 十 每 个 人 都 只 在 乎 把 他 的 数 
据 卖 个 蜗 价 ， 很 多 人 愿意 免费 提供 这 些 数据 来 换取 更 好 的 服务 ， 比 如 
想得到 亚马逊 更 准确 的 图 书 推 荐 。 但 是 对 于 很 大 一 部 分 对 数据 敏感 的 
消费 者 来 说 ， 营 销 和 出 售 他 们 的 个 人 信息 束 像 写 博客 、 发 Twitter 信 息 
和 在 维基 百科 检索 一 样 目 然 。 


然而 ， 这 一 切 的 发 生 不 只 是 请 费 者 意识 和 喜好 的 转变 所 能 促成 的 。 现 
在 ， 无 论 是 消费 者 授权 他 们 的 信息 还 是 公司 从 个 人 手中 购 得 信息 都 还 
过 于 昂 贯 和 复杂 。 这 很 可 能 会 催生 出 一 些 中 间 丙 ， 它 们 从 众多 消费 者 
手中 购 得 信息 ， 然 后 卖 给 公司 。 如 末 成 本 够 低 ， 而 消费 者 义 足够 信任 
这 样 的 中 间 商 ， 那 么 个 人 数据 市 场 束 很 有 可 能 诞生 ， 这 样 个 人 束 成 功 
地 成 为 了 数据 拥有 者 。 美 国 脐 省 理工 学 院 媒 体 实验 室 的 个 人 数据 分 析 
ee Pee ne re 
为 现实 。 


只 有 当 这 些 数据 中 间 商 诞生 并 开始 运 悍 ， 而 数据 使 用 者 也 开始 使 用 这 
些 数 据 的 时 候 ， 消 费 者 才能 真正 变 成 数据 掌握 者 。 如 今 ， 消 费 者 在 等 
待 足够 的 设备 和 适当 的 数据 中 间 商 的 出 现 ， 在 这 之 前 ， 他 们 希望 目 己 
披露 的 信息 越 少 越 好 。 总 之 ， 一 旦 条 件 成 熟 ， 消 费 者 束 能 从 真正 意义 
上 成 为 数据 掌握 者 了 。 


不 过 ， 大 数据 对 中 等 规模 的 公司 帮助 并 不 大 。 波 士 顿 咨询 集团 的 资深 
技术 和 商业 顾问 菲 利 浦 : 埃 文 斯 (Philip Evans) 说 ， 超 大 型 的 公司 占据 
了 规模 优势 ， 而 小 公司 则 具有 灵活 性 。 在 传统 行业 中 ， 中 等 规模 的 公 
司 比 大 公司 更 有 灵活 性 ， 比 小 公司 更 有 规模 。 但 是 在 大 数据 时 代 ， 一 
个 公司 没 必 要 非 要 达到 某 种 规模 才能 文 付 它 的 生产 设备 所 需 投入 。 大 
数据 公司 发 现 它 们 可 以 是 一 个 灵活 的 小 公司 并 且 会 很 成 功 (或 者 会 被 
大 数据 巨头 并 购 ) 。 


大 数据 洞察 


大 数据 让 处 于 行业 两 端的 公司 受益 民 多 ， 而 中 等 规模 的 公司 要 么 同 两 
端 转 换 ， 要 么 破产 。 传 统 行 业 最 终 都 会 转变 为 大 数据 行业 ， 无 论 是 金 
融 服 务 业 、 医 药 行业 还 是 制造 业 。 当 然 ， 大 数据 不 会 让 所 有 行业 的 中 
等 规模 的 公司 消亡 ， 但 是 肯定 会 给 可 以 被 大 数据 分 析 所 取代 的 中 等 规 
模 公 司 市 来 巨大 的 威胁 。 


大 数据 也 会 撼动 国家 竞争 力 。 当 制造 业已 经 大 幅 转 向 发 展 中 国家 ， 而 
大 家 都 争 相 发 展 创新 行业 的 时 候 ， 工 业 化 国家 因为 掌握 了 数据 以 及 大 
数据 技术 ， 所 以 仍然 在 全 球 竞争 中 占据 优势 。 不 笠 的 是 ， 这 个 优势 很 
难 持续 。 就 像 互 联网 和 计算 机 技术 一 样 ， 随 着 世界 上 的 其 他 国家 和 地 
区 都 开始 采用 这 些 技 术 ， 西 方 世 界 在 大 数据 技术 上 的 领先 地 位 将 慢 慢 
消失 。 对 于 发 达 国 家 的 大 公司 来 说 ， 好 消息 就 是 大 数据 会 加 剧 优胜 劣 
汰 。 所 以 一 日 一 个 公司 擎 握 了 大 数据 ， 它 不但 有 可 能 超过 它 的 对 手 ， 

还 有 可 能 遥遥 领先 。 


大 数据 洞察 
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所 有 的 公 \ 司 都 能 通过 巧妙 地 控 气 数据 价值 而 获得 利益 。 o 数据 能 够 优化 
生产 和 服务 ， 甚 至 能 众生 新 的 行业 。 


人 不过， 右 算 有 这 么 多 好 处 ， 我 们 依然 有 担忧 的 理由 。 因 为 随 厦 大 数据 
能 够 越 来 越 精确 地 预测 世界 的 事情 以 及 我 们 所 处 的 位 置 ， 我 们 可 能 还 
没有 准备 好 接受 ; 已 对 我 们 的 隐私 和 决策 过 程 珊 来 的 影响 。 我 们 的 认 知 
和 制度 都 还 不 习惯 这 样 一 个 数据 充裕 的 时 代 ， 因 为 它们 都 建立 在 数据 
稀缺 的 基础 之 上 。 下 一 个 章 下 ， 我 们 将 探讨 大 数据 所 市 来 的 不 民 影 


[1] 其 余 三 个 是 Amadeus，Travelport and Sabre。 一 一 作者 注 
2] 全 美 最 大 的 实体 书店 。 一 一 译 者 注 
3] 全 球 最 有 影响 力 的 线 下 拍卖 行 。 一 一 译 者 注 


[4] 指 的 是 Paypal 公 司 的 前 领导 人 皮特 - 泰 尔 (Peter Thiel) 、 雷 德 . 霍 夫 
© (Reid Hoffman) 以 及 马克 斯 - 莱 文 奇 四 (Max Levchin) 。 一 一 作者 


i 


[5] 因为 这 是 来 目 一 个 分 析 师 在 处 理 大 量 数据 的 基础 上 得 到 的 结果 ， 而 
(a 公开 ， 所 以 我 们 在 此 不 方便 披露 该 公司 的 名 字 。 一 一 
i 


第 三 部 分 大 数据 时 代 的 管理 变革 
07 风险 :让 数据 主 罕 一 切 的 隐忧 


我 们 时 刻 都 骏 露 在 “第 三 只 眼 ” 之 下 : 亚马逊 监视 着 我 们 的 购物 习惯 ， 
谷歌 监视 着 我们 的 网 页 浏 斋 习 惯 ， 而 微 博 似乎 什么 都 知道 ， 不 仅 否 听 
到 了 我 们 心中 的 “TA”， 还 有 我 们 的 社交 关系 网 。 


无 处 不 在 的 “第 三 只 眼 ” 


1989 年 ， 柏 林 墙 倒塌 ， 之 前 的 近 40 年 间 ， 民 主 德国 国家 安全 

局 “Stasi* 雇 用 了 十 万 左右 的 全 职 间谍 ， 时 刻 在 街 上 开车 监视 着 成 千 上 
万 民众 的 一 举 一 动 。 他 们 拆 看 信件 、 偷 舌 银 行 账户 信息 、 在 民众 家 中 
安装 窃听 器 并 且 窃 听 电 话 。 他 们 还 会 让 情人 、 夫 妇 、 父 母 和 孩子 相互 
监视 ， 导 致 人 与 人 之 间 形 失 了 最 基本 的 信任 。 结 果 ， 详 细 记 录 普 通 人 
最 私密 生活 信息 的 文件 至 少 包 括 了 3900 万 张 索引 卡片 和 铺 开 足 有 113 公 
里 长 的 文档 。 民 主 德国 是 一 个 史无前例 的 受到 如 此 全 面 监控 的 国家 。 


德国 统一 20 年 之 后 ， 更 多 的 个 人 信息 被 采集 和 存储 了 下 来 。 我 们 时 刻 
都 暴露 在 “第 三 只 眼 ? 之 下 ， 不 管 我 们 征 在 用 信用 卡 文 付 、 打 电话 还 是 
使 用 身份 证 。2007 年 ， 英 国 的 一 家 报社 曾 讽刺 地 报道 ， 在 乔治 : 奥 威 尔 
创作 《一 九 八 四 》 的 地 方 ， 也 就 古 他 的 伦 吝 公元 外 60 米 范围 内 ， 起 码 
有 30 多 架 摄 像 机 在 监视 着 他 的 一 举 一 动 。 


互联 网 出 现 之 前 ， 如 艾 可 飞 和 益 百 利 这 样 的 专业 数据 收集 公司 就 采 
集 、 记 录 了 全 球 范 围 内 大 约 几 百 万 人 口 的 数据 ， 而 它们 提供 的 每 个 人 
的 个 人 数据 就 多 达 好 几 百 份 。 而 互联 网 的 出 现 使 得 监视 变 得 更 容易 、 
成 本 更 低廉 也 更 有 用 处 。 如 今 ， 已 经 不 只 是 政府 在 暗中 监视 我 们 了 。 
亚 蕊 还 监视 着 我 们 的 购物 习惯 ， 合 歌 监 视 着 我 们 的 网 页 浏览 习惯 ， 
Twitter 窃听 到 了 我 们 心中 的 “TIA”，Facebook 人 似乎 什么 都 知道 ， 包 括 我 
们 的 社交 关系 网 。 


进行 大 数据 分 析 的 人 可 以 轻松 地 看 到 大 数据 的 价值 潜力 ， 这 极 大 地 刺 
激 看 他 们 进一步 采集 、 存 储 、 循 环 利用 我 们 个 人 数据 的 野心 。 随 着 存 
储 成 本 继续 又 跌 而 分 析 工 具 越 来 越 先 进 ， 采 集 和 存储 数据 的 数量 和 规 


模 将 爆发 式 地 增长 。 如 果 说 在 互联 网 时 代 我 们 的 隐私 受到 了 威胁 ， 那 
么 大 数据 时 代 是 否 会 加 深 这 种 威胁 呢 ? 这 束 是 大 数据 的 不 利 影响 吗 ? 


答案 是 肯定 的 。 大 数据 还 会 带 来 更 多 的 威胁 ， 毕 竟 ， 大 数据 的 核心 思 
想 就 是 用 规模 剧 增 来 改变 现状 。 我 们 也 将 分 析 它 是 如 何 加 深 对 我 们 隐 
私 的 威胁 的 ， 同 时 还 将 面 对 一 个 新 的 挑战 ， 即 运用 大 数据 预测 来 判断 
和 和 您 入 人 类 的 半 在 行为 。 这 古 对 公平 公正 以 及 目 由 意志 的 一 种 至 污 ， 
同时 也 轻视 了 决策 过 程 中 深思 敦 虚 的 重要 性 。 


除了 对 隐私 和 倾向 的 不 民 影 响 ， 大 数据 还 有 一 个 紫 疾 。 我 们 冒险 把 排 
犯 的 定罪 权 放 在 了 数据 手中 ， 借 以 表达 我 们 对 数据 和 我 们 的 分 析 结 
的 条 尚 ， 但 是 这 实际 上 是 一 种 滥用 。 应 用 得 当 ， 大 数据 会 是 我 们 合理 
决策 过 程 中 的 有 力 武 絮 ， 倘 耕 运 用 不 当 ， 它 束 可 能 会 变 成 权 贯 用 来 镇 
压 民众 的 工具 ， 轻 则 伤害 顾客 和 员工 的 利益 ， 重 则 损害 公民 的 人 身 安 
全 。 我 们 所 冒 的 风险 比 想象 中 还 要 大 。 如 末 在 隐私 和 预测 方面 对 大 数 
据 管理 不 当 ， 或 者 出 现 数据 分 析 错 误 ， 会 导致 的 不 恨 后 果 比 定制 化 的 
在 线 广告 要 三 重 得 多 。 


20 世 纪 ， 我 们 见证 了 太 多 由 于 数据 利用 不 合理 所 导致 的 惨剧 。 比 如 

1943 年 ， 美 国人 口 普查 局 递交 了 地 址 数据 来 帮助 美国 政府 拘留 日 裔 美 
国人 〈 当 时 它 没有 提交 街道 名 字 和 具体 街 号 的 数据 ， 居 然 幻想 着 这 样 
能 保护 隐私 ) ; 荷兰 著名 的 综合 民事 记录 数据 则 被 纳粹 分 子 用 来 搜捕 
犹太 人 ; 纳粹 集中 营 里 罪犯 的 前 臂 上 刺青 的 五 位 数 号 码 与 IBM 的 霍 瑞 
斯 罕 孔 卡片 上 的 号 码 是 一 致 的 ， 这 一 切 都 表明 是 数据 处 理 帮助 实现 了 
大 规模 的 屠杀 ° 


F 


我 们 的 隐私 被 二 次 利用 了 


我 们 倾向 于 从 数 子 数据 的 增长 和 奥 威 尔 写 《1984》 时 所 处 “监视 炼 
狱 * 的 角度 去 理解 大 数据 给 个 人 隐私 市 来 的 威胁 。 但 是 事实 上 ， 不 古 所 
有 的 数据 部 包含 了 个 人 人 信息。 其实， 不 管 是 传 感 表 从 炼油 厂 采 集 的 数 
据 、 来 目 工厂 的 机 器 数据 、 机 场 的 气象 数据 ， 还 是 沙井 亩 爆炸 数据 部 
不 包含 个 人 信息 。 英 国 石油 公司 和 纽约 爱迪生 联合 电力 公司 不 需要 
(也 不 想 要 ) 个 人 信息 ， 就 能 分 析 控 据 出 他 们 所 需要 的 数据 价值 。 事 
实 上 ， 这 方面 的 数据 分 析 并 不 威胁 个 人 隐私 。 


当然 ， 目 前 所 采集 的 大 部 分 数据 都 包含 有 个 人 信息 ， 而 且 存 在 着 各 种 
各 样 的 诱因 ， 让 我 们 想 尽 办 法 去 采集 更 多 、 存 储 更 久 、 利 用 更 彻底 ， 


甚至 有 的 数据 表面 上 并 不 是 个 人 数据 ， 但 是 经 由 大 数据 处 理 之 后 就 可 
以 追溯 到 个 人 了 。 


比方 说 ， 如 今 在 美国 和 欧洲 部 车 的 一 些 智能 电表 每 6 秒 钟 采集 一 个 实时 
读数 ， 这 样 一 天 所 得 到 的 数据 比 过 去 传统 电表 收集 到 的 所 有 数据 还 要 
多 。 因 为 每 个 电子 设备 通电 时 都 会 有 目 己 独特 的 “负荷 符 征 ”"， 比 如 热 
水 右 不 同 于 电脑 ， 而 它们 与 Led 大 麻生 长 条 晤 又 不 一 样 ， 所 以 能 源 使 用 
HURREE — SANH RIBE > BSR PIR TT AEST 
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然而 ， 我 们 要 探讨 的 主要 是 大 数据 是 否 改变 了 这 种 威胁 的 性 质 ， 而 不 
征 征 否 加 剧 了 这 种 威胁 。 如 采 仅 仅 是 加 剧 了 这 种 威胁 ， 那 么 我 们 现在 
采用 的 保护 隐私 的 法 律 法 规 依 然 生 有效 的 ， 我 们 只 需要 付出 加 倍 的 努 
力 来 确 休 有效 性 焉 可 以 。 然 而 ， 倘 大 威胁 的 性 质 已 经 改变 了 ， 我 们 束 
需要 导 求 新 的 解决 方案 。 


不 焉 的 是 ， 我 们 的 担忧 一 语 中 的 。 大 数据 的 价值 不 再 单纯 来 源 于 它 的 
基本 用 途 ， 而 更 多 源 于 它 的 二 次 利用 。 HE SS RRA RP IAD 
个 人 为 中 心 的 思想 : 数据 收集 者 必须 告知 个 人 ， 他 们 收集 了 哪些 数 
据 、 作 何 用 途 ， 也 必须 在 收集 工作 开始 之 前 征 得 个 人 的 同意 。 虽然 这 
不 是 进行 合法 数据 收集 的 唯一 方式 , “告知 与 许可 ”已 经 是 世界 各 地 执 
行 隐 私 政策 的 共识 性 基础 《虽然 实际 上 很 多 的 隐私 声明 都 没有 达到 效 
果 ， 但 那 是 另 一 回 事 ) 


更 重要 的 是 ， 大 数据 时 代 ， 很 多 数据 在 收集 的 时 候 并 无 意 用 作 其 他 用 
途 ， 而 最 终 却 产生 了 很 多 创新 性 的 用 途 。 所 以 ， 公 司 无 法 告知 个 人 尚 
未 想到 的 用 途 ， 而 个 人 亦 无 法 同意 这 种 疝 是 未 知 的 用 途 。 但 是 只 要 没 
有 得 到 许可 ， 任 何 包含 个 人 信息 的 大 数据 分 析 都 需要 回 个 人 征 得 同 
意 。 因 此 ， 如 有 果 谷 歌 要 使 用 检索 词 预测 流感 的 话 ， 必 须 征 得 数 亿 用 户 
的 同意 ， 这 简直 无 法 想象 。 束 算 没 有 技术 障碍 ， 双 有 哪个 公司 能 负担 
得 起 这 样 的 人 力 物力 文 出 呢 ? 


同样 ， 一 开始 的 时 候 就 要 用 户 同 意 所 有 可 能 的 用 途 ， 也 是 不 可 行 的 。 
因为 这 样 一 来 ,，“ 告 知 与 许可 ”就 完全 没有 意义 了 。 大 数据 时 代 ， 告 知 
与 许可 这 个 经 过 了 考验 并 且 可 信赖 的 基石 ， 要 么 太 狭 陈 ， 限 制 了 大 数 
据 洪 在 价值 的 挖 据 ， 要 么 就 太空 这 而 无 法 真正 地 保护 个 人 隐私 。 
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同时 ， 想 在 大 数据 时 代 中 用 技术 方法 来 保护 隐私 也 是 天 方 夜 谭 。 如 果 
所 有 人 的 信息 本 来 都 已 经 在 数据 库 里 ， 那 么 有 意识 地 避免 某 些 信 息 就 
是 此 地 无 银 三 百 两 。 我 们 把 谷歌 街景 作为 一 个 例子 来 看 ， 谷 歌 的 图 像 
采集 车 在 很 多 国家 采集 了 道路 和 房屋 的 图 像 (以 及 很 多 备 受 争议 的 数 
据 ) 。 但 是 ， 德 国 媒体 和 民众 强烈 地 抗议 了 谷歌 的 行为 ， 因 为 民众 认 
为 这 些 图 片 会 帮助 黑帮 和 镭 贼 选择 有 利 可 图 的 目标 。 有 的 业主 不 希望 他 
的 房屋 或 花园 出 现在 这 些 图 片上 ， 顶 着 巨大 的 压力 ， 谷 歌 同意 将 他 们 
的 房屋 或 花园 的 影像 模糊 化 。 但 是 这 种 模糊 化 却 起 到 了 反作用 ， 因 为 
你 可 以 在 街景 上 看 到 这 种 有 意识 的 模糊 化 ， 对 盗贼 来 说 ， 这 叉 古 一 个 
此 地 无 银 三 百 两 的 例子 。 


另 一 条 技术 途径 在 大 部 分 情况 下 也 不 可 行 ， 那 就 是 匿名 化 。 匿名 化 指 
的 是 让 所 有 能 揭示 个 人 情况 的 信息 都 不 出 现在 数据 集 里 ， 比 方 说 名 
字 、 生 日 、 住 址 、 信 用 卡号 或 者 社会 保险 号 等 。 这 样 一 来 ， 这 些 数 据 
束 可 以 在 被 分 析 和 共享 的 同时 ， 不 会 威胁 到 任何 人 的 隐私 。 在 小 数据 
时 代 这 样 确实 可 行 ， 但 是 随 着 数据 量 和 种 类 的 增多 ， 大 数据 促进 了 数 
据 内 容 的 交 义 检验 。 


2006 年 8 月 ， 美 国 在 线 (AOL) 公布 了 大 量 的 旧 搜 索 查 询 数 据 ， 本 意 
是 希望 研究 人 员 能 够 从 中 得 出 有 趣 的 见解 。 这 个 数据 库 是 由 从 3 月 1 日 
到 5 月 31 日 之 间 的 65.7 万 用 户 的 2000 万 搜索 查询 记录 组 成 的 ， 整 个 数据 
库 进 行 过 精心 的 匿名 化 一 一 用 户 名 称 和 地 址 等 个 人 信息 都 使 用 特殊 的 
数字 符号 进行 了 代替 。 这 样 ， 研 究 人 员 可 以 把 同一 个 人 的 所 有 搜索 查 
询 记录 联系 在 一 起 来 分 析 ， 而 并 不 包含 任何 个 人 信息 。 


尽管 如 此 ，《 纽 约 时 报 》 还 是 在 几 天 之 内 通过 把 “60 罗 的 单身 男 
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后 ， 发 现 数据 库 中 的 4417749 写 代表 的 是 伍 治 亚 州 利 尔 本 的 一 个 62 多 硅 
妇 塞 尔 玛 - 阿 诺 德 (Thelma Arnold) 。 当 记者 找到 她 家 的 时 候 ， 这 个 老 
人 惊叹 道 :“ 天 呐 ! 我 真 没 想到 一 直 有 人 在 监视 我 的 私人 生活 。” 这 引 
起 了 公愤， 最 终 美 国 在 线 的 首席 技术 冒 和 为 外 两 名 员工 都 被 开 除了 。 


事 隔 仅仅 两 个 月 之 后 ， 也 就 是 2006 年 10 月 ，DVD 租 赁 商 奈 飞 公 司 做 了 
一 件 差不多 的 事 ， 就 是 宣布 启动 “Netflix Prize” 算 法 竞赛 。 该 公司 公布 
了 大 约 来 自 50 万 用 户 的 一 亿 条 租赁 记录 ， 并 且 公 开 巧 赏 100 万 美金 ， 举 
办 一 个 软件 设计 大 赛 来 提高 他 们 的 电影 推荐 系统 的 准确 度 ， 胜 利 的 条 
件 是 把 准确 度 提 高 10%。 同 样 ， 奈 飞 公司 也 对 数据 进行 了 精心 的 匿名 


化 处 理 。 然 而 还 是 被 一 个 用 户 认 出 来 了 ， 一 个 化 名 “无 名 氏 ” 的 未 出 柜 
的 同性 六 母亲 起 诉 了 么 飞 公 司 ， 她 来 和 目 保守 的 美国 中 西部 。 


通过 把 妹 飞 公司 的 数据 与 其 他 公共 数据 进行 对 比分 析 ， 得 克 院 斯 大 学 
的 研究 人 员 很 快 发 现 ， 匿 名 用 户 进行 的 收视 率 排名 与 互联 网 电影 数据 
库 (IMDb) 上 实名 用 户 所 排 的 是 匹配 的 。 


大 数据 的 力量 


概括 地 说 ， 研 究 发 现 每 对 6 部 不 出 名 的 电影 进行 排序 ， 我 们 就 有 84% 的 
概率 可 以 辨认 出 奈 飞 公司 这 个 顾客 的 身份 。 而 如 果 我 们 知道 这 个 顾客 
是 哪 天 进行 了 排序 的 话 ， 那 么 他 被 从 这 个 50 万 人 的 数据 库 中 挑 出 来 的 
概率 就 会 高 达 999% © 


在 类 国 在 线 的 案例 中 ， 我 们 被 我 们 所 搜索 的 内 容 出 卖 了 。 MA KAA] 
的 情况 则 是 因为 不 同 来 源 数 据 的 结合 暴露 了 我 们 的 吴 份 。 这 两 种 情况 
的 出 现 ， 都 是 因为 公司 没有 意识 到 匿名 化 对 大 数据 的 无 效 性 。 而 出 现 
这 种 无 效 性 则 是 由 两 个 因素 引起 的 ， 一 是 我 们 收集 到 的 数据 越 来 越 
多 ， 二 是 我 们 会 结合 越 来 越 多 不 同 来 源 的 数据 。 


科罗拉多 大 学 的 法 学 教授 保罗 -欧姆 (Paul Ohm) ， 同 时 也 是 研究 反 匿 
名 化 危害 的 专家 ， 认 为 针对 大 数据 的 反 匿名 化 所， 现在 还 没有 很 好 的 
办 法 。 毕 葛 ， 只 要 有 足够 的 数据 ， 那 么 无 论 如 何 都 做 不 到 完全 的 匿名 
化 。 更 糟 的 是 ， 最 近 的 研 完 表明 ， 不 只 是 传统 数据 容易 受到 反 匿 名 化 
的 影响 ， 人 们 的 社交 关系 图 ， 也 吏 是 人 们 的 相互 联系 也 将 同 受 其 害 。 


大 数据 洞察 


在 大 数据 时 代 ， 个 时 丰富 知 了 计 可 、 模糊 化 还 是 匿名 化 ， 这 三 大 隐私 
保护 策略 都 失效 了 。 如 今 很 多 用 户 都 觉得 目 己 的 隐私 已 经 受到 了 威 
胁 ， 当 大 数据 变 得 更 为 普 裔 的 时 候 ， 情 况 将 更 加 不 堪 设 想 。 


与 25 年 之 前 的 民主 德国 相 比 ， 现在 我 们 所 受 的 监控 没有 减少 ， 反而 变 
得 越 来 越 容 易 、 严 蜜 以 及 低 成 本 。 采 集 个 人 数据 的 工具 融 隐 藏 在 我 们 
日 第 生活 所 必 备 的 工具 当中 ， 比 如 网 页 和 着 能 手机 应 用 程序 。 我 们 知 
道 大 多 数 的 汽车 中 都 半 了 一 个 “墨盒 了 "一 一 用 来 监测 安全 气 宫 激活 的 
情况 ， 而 如 今 ， 一 旦 出 现 具有 和 争议 的 交通 案件 ， 这 个 涯 盒 子 所 采集 的 
数据 就 可 以 在 法 庭 上 充当 证 据 。 当 然 ， 如 果 企业 采集 数据 只 是 来 提高 
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大 ， 也 不 如 国家 强制 力 。 


不 过 ， 即 使 它们 不 具备 国家 强制 力 ， 想 到 各 种 各 样 的 公司 在 我 们 不 知 
情 的 情况 下 采集 了 我 们 日 音 生 活 方 方面 面 的 数据 ， 并 且 进 行 了 数据 共 
译 以 及 一 些 我 们 未 知 的 运用 ， 这 还 是 很 恕 怖 的 。 对 大 数据 大 加 利用 的 
不 只 是 私营 企业 ， 政 府 也 不 甘 落后 。 


据 《 华 盛 顿 邮 报 》2010 年 的 研究 表明 ， 美 国 司 家 安全 局 每 天 拦截 并 存 

储 的 电子 邮件 、 电 话 和 其 他 通信 记录 多 达 17 亿 条 。 前 美国 安全 局 官员 

威廉 - 宾 尼 (William Binney) 估计 政府 采集 的 美国 及 他 国 公民 的 通信 

互动 记录 有 20 万 亿 次 之 多 ， 其 中 包括 谁 和 谁 通过 话 、 发 过 电子 邮件 、 

进行 过 电汇 等 信息 。 为 了 和 弄 明 白 这 所 有 的 数据 ， 美 国 建立 了 庞大 的 数 

其 中 美国 国家 安全 局 就 耗资 12 亿 美元 在 犹他 州 的 威廉 姆 斯 堡 
wy 
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府 部 门 都 需要 ， 所 以 ， 数 据 采 集 扩 展 到 了 人 金融 交易 、 医 疗 记录 和 
Facebook 状 态 更 新 等 各 个 领域 ， 数 据 量 之 巨 可 想 而 知 。 政 府 其 实处 理 
不 了 这 么 多 数据 ， 那 为 什么 要 费力 采集 呢 ? 


这 是 因为 在 大 数据 时 代 ， 监 控 的 方式 已 经 改变 了 。 过 去 ， 调 查 员 为 了 
尽 可 能 多 地 知道 嫌疑 人 的 信息 ， 需 要 把 鳄鱼 夹 夹 到 电话 线 上 。 当 时 最 
重要 的 是 能 深入 调查 某 个 人 ， 而 现在 情况 不 一 样 了 ， 比 如 谷歌 和 
Facebook 的 理念 则 和 是 人 融 是 社会 关系 、 网 上 互动 和 内 容 搜索 的 加 和 。 
所 以 ， 为 了 全 面 调查 一 个 人 ， 调 碍 员 需 要 得 到 关于 这 个 人 的 最 广泛 的 
信息 ， 不 仅 是 他 们 认识 的 人 ， 还 包括 这 些 人 又 认识 哪些 人 等 。 过 去 的 
技术 条 件 没 法 做 到 这 样 的 分 析 ， 但 是 今 非 昔 比 了 。 


不 过 ， 虽 然 企 业 和 政府 拥有 的 这 种 采集 个 人 信息 的 能 力 ， 让 我 们 感到 
很 困扰 ， 但 也 还 是 没有 大 数据 所 引起 的 男 一 个 新 问题 让 我 们 更 仍 悦 ， 
那 束 是 用 预测 来 判断 我 们 。 


预测 与 惩罚 ， 不 是 因为 “所 做 ?>， 而 是 因为 “将 做 ” 
约翰 : 安 德 顿 (John Anderton) 是 华盛顿 特区 警 局 预防 犯罪 组 的 负责 


人 。 这 是 特别 的 一 天 ， 早 上 ， 他 冲 进 了 住 在 郊区 的 霍华德 :马克 斯 
(Howard Marks) 的 家 中 并 逮捕 了 他 ， 后 者 打算 用 剪刀 刺杀 他 的 妻 


子 ， 因 为 他 发 现 他 妻子 给 他 戴 了 “绿帽子 ”。 安 德 顿 又 防止 了 一 起 又 力 
犯罪 案件 的 发 生 。 他 大 声 说 : “我 以 哥伦比亚 特区 预防 犯罪 科 的 名 义 隶 
捕 你 ， 你 即将 在 今天 AASV SE FDL A SEA (Sarah 

Marks) ...... "其 他 的 警察 开始 控制 霍华德 ， 霍 华 德 大 喊 揭 枉 ,“ 我 什么 
都 没有 做 啊 ! ” 


这 年 电 影 《少数 派 报告 》 (Minority Report ) 开始 时 的 场景 ， 这 部 电 
影 描 述 的 是 一 个 未 来 可 以 谁 确 预知 的 世界 ， 而 罪犯 在 实施 犯罪 前 吏 已 
受到 了 惩罚 。 人 们 不 是 因为 所 做 而 受到 惩罚 ， 而 是 因为 将 做 ， 即 使 他 
们 事实 上 并 没有 犯罪 。 虽然 电 影 中 预测 依靠 的 不 是 数据 分 析 ， 而 是 三 
个 超自然 人 的 想象 ， 但 是 《少数 派 报告 》 所 摘 述 的 这 个 令 人 不 安 的 社 
会 正 是 不 受 限 制 的 大 数据 分 析 可 能 会 时 致 的 ， 晨 责 的 判定 全 基于 对 个 
人 未 来 行为 的 预测 。 


我 们 已 经 看 到 了 这 种 社会 模式 的 萌芽 。30 多 个 州 的 假释 委员 正 使 用 数 
据 分 析 来 决定 是 释放 还 十 继续 监禁 某 人 。 越 来 越 多 的 美国 城市 ， 从 洛 
杉 矶 的 部 分 地 区 到 整个 里 士 满 (美国 弗吉尼亚 州 首府 ， 都 采用 了 *“ 预 
测 警 务 ”( 也 就 是 大 数据 分 析 ) 来 决定 哪些 街道 、 群 体 还 是 个 人 需要 更 
闻 密 的 监控 ,仅仅 因为 算法 系统 指出 他 们 更 有 可 能 犯罪 。 


竺 秋 菲 斯 市 ， 一 个 名 为 “ 蓝 色 粉碎 ”所 的 项 目 为 警 员 大 于 哪 
些 地 方 更 容易 发 生 犯 罪 事件 ， 什 么 时 候 更 容易 逮 到 罪犯 。 这 个 系统 帮 
助 执法 部 门 更 好 地 分 配 其 有 限 的 资源 。 这 个 项 目 自 2006 保 生动 以 六 
eee (虽然 这 与 这 个 项 


fe THA SAA, ee Lt 
方 说 市 里 的 大 公司 何 时 给 员工 发 当地 举办 音乐 会 或 者 运动 赛事 
的 时 间 。 EE T EEES IN, 有 时 也 会 帮助 警方 推算 出 
更 准确 的 犯 菲 趋势 。 例 如 ， 里 士 满 市 的 警察 a ena 
ZEMA EEH, KAER TARTS, 但 是 也 发 现 了 一 
P ae 不 是 紧 随 枪击 事件 而 来 的 ， 而 古 两 个 星期 之 后 才 会 出 
cI, © 


这 些 系统 通过 预测 来 预防 犯罪 ， 最终 要 精准 到 谁 会 犯罪 这 个 级 别 。 这 
是 大 数据 的 新 用 途 。 众 多 科幻 小 说 的 丰富 演绎 进一步 揭示 了 机 场 日 常 
安 答 的 平庸 和 困境 © 美国 国土 安全 部 正在 人 研发 一 套 名 为 未 来 行为 检测 
科技 (Future Attribute Screening Technology， 简 称 FAST) 的 安全 系 


统 ， 通 过 监控 个 人 的 生命 体征 、 肢 体 语言 和 其 他 生理 模式 ， 发 现 潜在 
的 您 怖 分 子 。 人 研究 者 认为 ， 通 过 监控 人 类 的 行为 可 以 发 现 他 们 的 不 民 
意图 。 美 国 国土 安全 部 声称 ， 在 人 研究 测试 中 ， 系 统 检测 的 准确 度 可 以 
达到 70%。 (测试 方法 并 不 可 知 ， 难 道 是 要 志愿 者 假扮 称 怖 分 子 ， 然 
后 看 看 系统 是 否 能 发 现 他 们 的 不 良 意图 吗 ? ) 尽管 这 些 研究 还 处 于 早 
期 阶段 ， 执 法 着 和 监管 部 门 还 是 对 其 给 予 了 高 度 重 视 。 


我 们 可 以 用 大 数据 来 预防 犯 徘 ， 听 起 来 真 不 错 。 毕 竟 在 犯 徘 发 生 之 前 
及 时 制止 比 事后 再 您 昼 要 好 得 多 ， 不 十 吗 ?因为 我 们 避免 了 犯罪 的 发 
生 ， 也 就 挽救 了 可 能 个 伤 害 的 人 ， 同 时 社会 整体 也 受 在 了 。 


但 是 这 很 危险 ， 因 为 如 琳 我 们 可 以 用 大 数据 来 预防 犯罪 ,我 们 束 可 能 
会 想 进 一 步 您 昼 这 个 未 来 的 罪犯 。 这 也 是 符合 逻辑 的 ， 因 为 我 们 会 觉 
得 如 宁 只 坪 阻 止 了 他 的 犯 徘 行为 而 不 采取 怎 昼 措施 的 话 ， 他 了 就 可 能 因 
为 不 受 损失 而 再 次 犯罪 ， 如 果 我 们 因为 他 未 实施 的 犯罪 行为 而 惩 济 他 
的 话 ， 可 能 束 会 威慑 到 他 。 


基于 预测 基础 上 的 惩 鹿 似 乎 也 是 我 们 现在 惯 行 方法 的 一 种 提升 。 现 代 
社会 是 建立 在 预防 不 健康 、 人 危险 和 非法 行为 基础 上 的 。 我 们 为 了 预防 
肺癌 而 减少 吸烟 率 、 为 了 避免 在 车 祸 中 死亡 而 系 安 全 带 、 为 了 避免 被 
埃 机 而 不 允许 市 枪 文登 机 ， 所 有 这 些 预防 措施 都 限制 了 我 们 的 目 由 ， 
但 是 我 们 愿意 为 了 防止 更 大 的 灾难 而 做 出 适当 的 牺牲 。 


大 多 数 情况 下 ， 我 们 已 经 在 以 预测 之 名 采用 大 数据 分 析 。 它 把 我 们 放 
在 一 个 特定 的 人 群 之 中 来 对 我 们 进行 界定 。 保 险 狂 算 表 上 指出 ， 超 过 
50 多 的 男性 更 容易 患 前 列 腺 癌 ， 所 以 你 如 果 不 和 位 正好 处 于 这 个 年 龄 
段 ， 台 需要 文 付 更 多 的 保险 费用 ， 即 使 你 根本 惑 没 得 过 这 个 病 。 没 有 
高 中 文 插 的 人 更 容易 偿还 不 起 债务 ， 所 以 如 果 你 没有 高 中 文 插 ， 束 可 
能 贷 不 到 款 或 者 必须 文 付 更 高 的 保险 费 。 有 的 人 在 过 安检 的 时 候 ， 可 
能 会 需要 进行 额外 的 检查 ， 仅 仅 是 因为 他 带 有 某 种 特定 的 特征 。 


这 都 是 如 今 的 小 数据 时 代 所 采用 的 “画像 背后 的 指导 思想 。 在 一 个 数 
据 库 中 找到 普遍 联系 ， 然 后 对 适用 于 这 种 普遍 联系 的 个 人 深入 勘察。 
这 适用 于 团体 内 的 每 个 人 ， 是 一 条 普 衣 规则。 当然 ,，“ 画 像 * 意 义 颇 

多 ， 不 只 意味 着 对 一 个 特定 群体 的 区 分 ， 而 且 指 “牵连 犯罪 ”， 不 过 这 
征 一 种 滥用 ， 所 以 “画像 ”有 严重 的 缺陷 。 


大 数据 洞察 


大 数据 蔡 我 们 规避 了 “画像 ”的 缺陷 ， 因 为 大 数据 区 分 的 是 个 人 而 不 十 
群体 所 以 我 们 不 会 再 通过 “牵连 犯罪 给 群体 中 的 每 个 人 都 定 菲 。 如 
i o DAREN KK EIA TERA LAE ANE BOA Y ri IP 
子 而 接受 额外 的 检查 ， 只 要 他 身上 的 其 他 数据 表明 他 基本 没有 人 怒 怖 主 
义 倾向 。 因 此 ， 大 数据 通过 给 予 我 们 关于 个 人 自身 更 详尽 的 数据 信 
思 ， 帮 我 们 规避 了 “画像 ”的 缺陷 一 一 直接 将 群体 特征 强加 于 个 人 。 


其 实 ， 我 们 一 直 在 用 “画像 ”来 帮助 我 们 确定 个 人 的 徘 贡 ， 大 数据 所 做 
的 并 没有 本 质 的 亚 别 ， 只 是 让 这 种 方法 更 完善 、 更 精准 、 更 具体 和 更 

个 性 化 。 因 此 ， 如 果 大 数据 预测 只 是 帮助 我 们 预防 不 民 行 为 ， 我 们 似 
乎 是 可 以 接受 的 。 o 但 是 ， 倘 知 我 们 使 用 大 数据 预测 来 判定 某 人 有 徘 并 
对 其 尚未 实施 的 行为 进行 惩罚 ， 就 可 能 让 我 们 陷入 一 个 危险 的 境地 。 


基于 未 来 可 能 行为 之 上 的 惩罚 是 对 公平 正义 的 赛 渎 ， 因 为 公平 正义 的 
oo e o 毕竟， 想 做 而 未 做 不 是 犯 

o 社会 天 于 个 人 责任 的 基本 信条 是 ， 人 为 其 选择 的 行为 承担 责任 。 
如 果 有 人 在 被 别人 用 枪 威胁 的 情况 下 打开 了 公司 的 保险 柜 ， 他 并 不 需 
要 承担 责任 ， 因 为 他 别 无 选择 。 


如 有 果 大 数据 分 析 完 全 准确 ， 那 么 我 们 的 未 来 会 被 精准 地 预测 ， 因 此 在 
未 来 ， 我 们 不 仅 会 失去 选择 的 权利 ， 而 且 会 按照 预测 去 行动 。 如 采 精 
准 的 预测 成 为 现实 的 话 ， 我 们 也 束 失 去 了 目 由 意志 ， 失 去 了 目 由 选择 
生活 的 权利 。 既 然 我 们 别 无 选择 ， 那 么 我 们 也 束 不 需要 承担 责任 ， 这 
不 是 很 讽刺 吗 ? 


当然 ， 精 准 的 预测 是 不 现实 的 。 大 数据 分 析 只 能 预测 一 个 人 未 来 很 有 
可 能 进行 的 行为 。 


比方 说 ， 宾 尹 法 尼 亚 大 学 教授 理 查 德 . 伯 克 (Richard Berk) 建立 了 一 
个 大 数据 模型 ， 他 声称 这 个 模型 可 以 预测 一 个 判 缓刑 或 者 假释 的 人 一 
旦 提前 释放 会 不 会 再 次 杀人 。 ee 包括 监 
茜 的 原因 、 前 次 犯罪 的 时 间 、 年 龄 、 性 别 等 个 人 数据 。 伯 克 说 他 的 模 
对 对 末 来 行为 预测 的 准确 率 可 以 这 到 75% > KONE ADEE 。 但 
人 就 会 在 每 4 个 人 中 出 现 
一 次 失误 。 


但 是 ， 主 要 的 问题 并 不 是 出 在 社会 需要 面 对 更 多 威胁 上 ， 而 是 我 们 在 
人 们 真正 犯罪 之 前 对 他 进行 惩罚 否定 了 人 的 自由 权利 。 我 们 永远 不 会 


知道 这 个 受 和 您 昼 的 人 是 否 会 真正 犯罪 ， 因 为 我 们 已 经 通过 预测 预先 制 
止 了 这 种 行为 ， 如 此 一 来 ， 我 们 束 没 有 让 他 按照 他 的 间 愿 去 做 ,但 是 
我 们 却 依 然 坚 持 他 应 该 为 目 己 尚未 实施 的 未 来 行为 付出 代价 ， 而 我 们 
的 预测 也 永远 无 法 得 到 证 实 。 


这 否定 了 法 律 系统 或 者 说 我 们 的 公平 意识 区 
因为 我 们 被 追究 贡 任 ， 居 然 是 为 了 我 们 可 能 永远 都 不 会 实施 的 行为 。 
对 预测 到 的 未 来 行为 判 徘 也 否认 了 我 们 进行 道德 选择 的 能 力 。 


大 数据 预测 给 我 们 市 来 的 威胁 ， 不 仅仅 局 限于 司法 公正 上 ， 它 还 会 
胁 到 任何 运用 大 数据 预测 对 我 们 的 未 来 行为 进行 徘 责 判定 的 领域 ， i 
如 民事 法 许 案 件 中 判定 过 失 以 及 公司 解雇 员工 的 决策 。 


大 数据 洞察 
也 许 ， 人 数据 预测 可 以 为 我 们 打造 一 个 更 安全 > 更 高 效 的 社会 ， 但 


却 否 定 了 我 们 之 所 以 为 人 的 重要 组 成 部 分 选择 的 能 力 和 行 大 
HEHH 大 数据 成 为 了 集体 选择 的 工具 ， 但 也 放弃 了 我 们 的 自由 意 
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测 所 导致 的 结果 。 大 数据 预测 十 建立 在 相关 性 基础 上 的 。 让 人 们 为 还 
未 实施 的 未 来 行为 买单 是 市 来 不 利 影响 的 主要 原因 ， 因 为 我 们 把 个 人 
徘 责 判 定 建立 在 大 数据 预测 的 基础 上 是 不 合理 的 。 


大 数据 有 利于 我 们 理解 现在 和 预见 未 来 的 风险 ， 如 此 一 来 ， 我 们 就 可 
以 相对 应 地 采取 应 对 措施 。 大 数据 预测 可 以 帮助 患者 、 保 险 公 司 、 银 
行 和 顾客 ， 但 是 大 数据 不 能 告诉 我 们 因果 关系 。 相 对 地 ， 进 行 个 人 罪 
责 推 定 需要 行为 人 选择 某 种 特定 的 行为 ， 他 的 选择 是 造成 这 个 行为 的 
原因 。 但 大 数据 并 不 是 建立 在 因果 关系 基础 上 的 ， 所 以 它 完 全 不 应 该 
用 来 帮助 我 们 进行 个 人 罪责 推定 。 


磋 烦 的 是 ， 人 们 习惯 性 地 从 因果 关系 的 视角 来 理解 世界 。 因 此 ， 大 数 
据 忆 是 个 滥 用 于 因果 分 析 ， 而 且 我 们 往往 非常 乐观 地 认为 ， 只 要 有 了 
大 数据 预测 的 帮助 ， 我 们 进行 个 人 罪责 判定 瑟 会 更 高 效 。 


这 征 一 个 典型 的 滑坡 ， 可 能 直接 导致 《少数 派 报 告 》 中 的 情况 成 为 现 
实 一 一 我 们 将 生活 在 一 个 没有 独立 选择 和 和 目 由 意志 的 社会 ， 在 这 里 我 


们 的 道德 指标 将 被 预测 系统 所 取代 ， 个 人 一 直 受 到 集体 意志 的 冲击 。 
人 


数据 独裁 


大 数据 大 大 地 威胁 到 了 我 们 的 隐私 和 目 由 ， 这 都 是 大 数据 种 来 的 新 威 
胁 。 但 是 与 此 同时 ， 它 也 加 剧 了 一 个 旧 威 胁 : 过 于 依赖 数据 ， 而 数据 
远 远 没有 我 们 所 想 的 那么 可 靠 。 要 揭示 大 数据 分 析 的 不 可 靠 性 ， 和 玖 人 
没有 比 罗 伯 特 .麦克 纳 马 拉 (Robert McNamara) 的 例子 更 贴切 的 了 。 


麦 殉 纳 马 拉 是 一 个 执 迷 于 数据 的 人 。20 世 纪 60 年 代 早期 ， 在 越南 局 势 
变 得 紧张 的 时 候 ， 他 被 任命 为 美国 国防 部 长 。 任 何事 情 ， 只 要 可 以 ， 
他 都 会 执意 得 到 数据 。 他 认为 ， 只 有 运用 严谨 的 统计 数据 ， 决 策 者 才 
能 真正 理解 复 洒 的 事 仿 并 做 出 正确 的 决定 。 他 眼中 的 世界 束 是 一 堆 竹 
警 不 驯 的 信息 的 总 和 ， 一 旦 划 定 、 命 名 、 区 分 和 量化 之 后 ， 束 能 被 人 
类 驯服 并 加 以 利用 。 才 克 纳 马 拉 奶 求 真 理 ， 而 数据 恰好 能 揭示 真理 。 
他 所 掌握 的 数据 中 有 一 份 吏 是 “死亡 名 单 ”。 


麦克 纳 马 拉 对 数字 的 执 迷 从 年 轻 的 时 候 就 开始 了 ， 当 时 他 还 是 哈佛 商 
学 院 的 学 生 ， 后 来 ， 他 以 24 岁 的 年 纪 成 为 了 最 年 轻 的 副教授 。 第 二 次 
世界 大 战 期 间 ， 他 把 这 种 严密 的 数字 意识 运用 到 了 工作 之 中 ， 当 时 他 
征 五 角 大 楼 里 被 称 为 "统计 控制 队 ” 中 的 一 名 精英 ， 这 个 队伍 让 世界 权 
力 的 中 心 人 物 都 开始 依靠 数据 进行 决策 。 在 这 之 前 ， 部 队 一 直 很 言 
目 。 比 方 说 ， 写 们 不 知道 飞机 备用 零件 的 种 类 、 数 量 和 放置 位 置 。 
1943 年 制作 的 综合 清单 为 部 队 市 省 了 36 亿 美元 。 现 代 战 争 需 要 资源 的 
合理 分 配 ， 他 们 所 做 的 非常 了 不 起 。 


战争 结束 的 时 候 ， 他 们 决定 通力 合作 拯救 濒临 倒闭 的 福特 汽车 公司 。 
福特 二 世 (Henry Ford Il) 绝望 地 交 出 了 自己 的 控制 权 。 就 像 他 们 投入 
战争 的 时 候 完全 不 懂 军 事 一 样 ， 这 一 次 ， 他 们 也 不 关心 如 何 制 作 汽 
车 。 但 是 奇妙 的 是 ， 这 群 精 明 小 子 届 然 救 活 了 福特 公司 。 


麦克 纳 马 拉 对 数据 的 执 迷 迅 速 升温 ， 开 始 几 事 痢 考虑 数据 集 。 工 厂 经 
理 迅 速 地 生成 麦克 纳 马 拉 所 要 求 的 数字 ， 不 管 对 错 。 他 规定 只 有 在 有 旧 
车 型 的 所 有 和 零件 的 存货 用 完 之 后 才能 生产 新 车 型 ， 筑 怒 的 生产 线 经 理 
们 一 股 脑 将 剩余 的 零件 全 部 倒 进 了 附近 的 河 里 。 当 前 线 员工 把 数据 返 
回 的 时 候 ， 总 部 的 高 管 们 都 满意 地 点 了 点 头 ， 因 为 规定 执行 得 很 到 


位 。 但 是 工厂 里 盛行 一 个 笑话 ， 是 说 河面 上 可 以 走 人 了 ， 因 为 河 里 有 
ee 在 河面 上 走 就 是 在 生 锈 的 


麦克 纳 马 拉 是 典型 的 20 世 纪 经 理 人 一 一 完全 依赖 数字 而 非 感情 的 理智 
型 高 管 ， 他 可 以 把 他 的 数控 理论 运用 到 任何 领域 。1960 年 ， 他 被 任命 
为 福特 汽车 公司 的 总 裁 ， 在 位 只 有 儿 周 ， 他 吏 被 肯尼迪 总 统 任命 为 糯 
国 国防 部 部 长 。 


随 独 越南 战争 升级 和 美军 加 派 部 队 ， 这 变 成 了 一 场 意志 之 战 而 非 领土 
之 争 。 美 军 的 策略 是 台 迫 越 共 走 上 谈判 保 。 于 是 ， 评 判 战争 进度 的 方 
法 就 是 看 对 方 的 死亡 人 数 。 每 天 报纸 都 会 公布 死亡 人 数 。 文 持 战 争 的 
人 把 这 作为 战争 胜利 的 标志 ， 反 战 的 人 把 它 作 为 道德 沦 到 的 证 据 。 死 
亡 人 数 是 代表 了 一 个 时 代 的 数据 集 。 


1977 年 ， 一 架 直 升 机 从 西 页 的 美国 大 使 馆 屋 顶 上 撤离 了 最 后 一 批 美 国 
公民 。 两 年 之 后 ， 一 位 退休 的 将 军 道 格拉 斯 : 金 纳 德 (Douglas 
Kinnard) 发 表 了 《战争 管理 者 》 (The War Managers ) 。 这 是 一 个 关 
于 将 军 们 对 越战 看 法 的 里 程 碑 式 的 调查 。 它 揭露 了 量化 的 困境 。 仅 仅 
只 有 29% 的 美国 将 军 们 认为 用 死亡 人 数 衡量 战争 成 采 是 有 意义 的 ， 而 三 
分 之 二 的 人 认为 大 部 分 情况 下 数据 都 被 从 大 了 。 一 个 将 军 评论 称 ,“ 那 
都 是 假 的 ， 完 全 没有 意义 ”; 另 一 个 说 道 , “OF; 还 有 一 个 将 军 
则 认为 是 像 麦 克 纳 马 拉 这 样 的 人 表现 出 了 对 数据 的 极 大 热忱 ， 导 致 很 
多 部 | 门 一 层 一 层 地 将 数字 扩大 化 了 。 


忠 像 福特 的 员工 将 零件 投入 河中 一 样 ， 下 级 军官 为 了 达成 命令 或 者 逢 
官 ， 会 汇报 可 观 的 数字 给 他 们 的 上 级 ， 只 要 那 是 他 们 的 上 级 希望 听 到 
的 数字 。 旦 麦克 纳 马 拉 和 他 身边 的 人 都 依赖 并 且 执 迷 于 数据 ， 他 认为 
只 有 通过 电子 表格 上 有 序 的 行 、 列 、 计 算 和 图 表 才 能 真正 了 解 战场 上 
发 生 了 什么 。 他 认为 掌握 了 数据 ， 也 就 进一步 接近 了 真理 (上帝 ) 。 


大 数据 洞察 


国 军 方 在 越战 时 对 数据 的 使 用 、 滥 用 和 误 用 给 我 们 提 了 一 个 醒 ， 在 
由 “小 数据 ”时 代 疝 大 数据 时 代 转 变 的 过 程 中 ， 我 们 对 信息 的 一 些 局限 
性 必须 给 予 高 度 的 重视 。 数 据 的 质量 可 能 会 很 老 ， 可 能 是 不 客观 的 ; 
可 能 存在 分 析 错 误 或 者 具有 误导 性 ;更 粳 糙 的 是 ， 数 据 可 能 根本 达 不 
到 量化 它 的 目的 。 


rit 
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治 我 们 。 其 威胁 就 是 ， 我 们 可 能 会 完全 受 限于 我 们 的 分 析 结 采 ， 即 使 
这 个 结 采 理应 受到 质疑 。 或 者 说 ， 我 们 会 形成 一 种 对 数据 的 执 迷 ， 因 
人 


随 痢 越 来 越 多 的 事物 被 数据 化 ， 决 策 着 和 商人 所 做 的 第 一 件 事 束 是 得 
到 更 多 的 数据 。“ 我 们 相信 上 上帝， 除了 上 帝 ， 其 他 任何 人 都 必须 用 数据 
说 话 。” 这 是 现代 经 理 人 的 信仰 ， 也 回响 在 硅谷 的 办 公 室 、 工 厂 和 市 政 
厅 的 门廊 里 。 善 加 利用 ， 这 是 极 好 的 事情 ， 但 是 一 旦 出 现 不 合理 利 
用 ,后果 将 不 堪 设 想 。 


教育 似乎 在 走 下 直路 ? 用 标准 化 测试 来 检验 学 生 的 表现 和 评定 对 老师 
或 学 校 的 奖惩 是 不 合理 的 。 考 斌 是否 能 全 面 展示 一 个 学 生 的 能 力 ? 是 
否 能 有 效 检测 教学 质量 ” 是 否 能 反映 出 一 个 有 创造 力 、 适 应 能 力 强 的 
现代 师资 队伍 所 需要 的 品质 ? 这 些 都 饱 受 争议 ， 但 是 ， 数 据 不 会 承认 
这 些 问题 的 存在 。 


OBA LEE SC? 创造 一 层 层 的 禁 飞 名 单 、 阻 止 任何 与 娩 怖 主义 有 
天 的 个 人 搭乘 飞机 ， 这 真 的 有 用 吗 ? 回答 是 :值得 怀疑 。 想 想 那 件 非 
彰 出 名 的 事情 ， 马 联 诸 塞 州 参议 员 符 德 .肯尼迪 (Ted Kennedy) 不 就 
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与 数据 为 伴 的 人 可 以 用 一 句 话 来 概括 这 些 问 题 , ARAI E BS 
的 结论 。” 有 时 候 ， 是 因为 用 来 分 析 的 数据 质量 不 佳 ， 但 在 大 部 分 情况 
下 ， 是 因为 我 们 误 用 了 数据 分 析 结 有 末 。 大 数据 要 么 会 让 这 些 问题 视频 
出 现 ， 要 么 会 加 剧 这 些 问题 导致 的 不 民 后 果 。 


我 们 在 书 中 举 过 无 数 谷歌 的 例子 ， 我 们 明白 它 的 一 切 运 作 部 是 基于 数 
据 基础 之 上 的 。 很 明显 ， 它 大 部 分 的 成 功 部 是 数据 千丈 的 ， 但 是 偶尔 
谷歌 也 会 因为 数据 栽 跟 头 。 


合 歌 公司 的 创始 和信 拉 里 . 佩 奇 和 谢 尔 蓄 : 布 林 一 直 强 调 要 得 到 每 个 应 聘 者 
申请 大 学 时 的 SAT 成 绩 以 及 大 学 毕业 时 的 平均 绩 点 。 他 们 认为 ， 前 者 
能 彩 显 潜能 ， 后 者 则 展现 成 束 。 因 此 ， 当 40 多 岁 、 成 绩 右 然 的 经 理 人 
在 应 聘 时 被 问 到 大 学 成 绩 的 时 候 ， 残 完全 无 法 理解 这 种 要 求 。 尺 管 公 


Fl a a 工作 表现 和 这 些 分 数 根本 没有 关系 ， 谷 歌 依然 
AIMAM ° 


谷歌 本 应 该 懂得 抵制 数据 的 独裁 。 考 试 结果 可 能 一 生 都 不 会 改变 ， 但 
征 它 并 不 能 测试 出 一 个 人 的 知识 深度 ， 也 展示 不 出 一 个 人 的 人 文 素 

养 ， 学 习 技能 之 外 ， 科 学 和 工程 知识 才 是 更 适合 考量 的 。 谷 歌 在 招聘 
人 才 方 面 如 此 依赖 数据 让 人 很 是 费解 ， 要 知道 ， 它 的 创始 人 可 是 接受 
过 注重 学 习 而 非 分 数 的 蒙 台 梭 利 教育 。 合 歌 束 是 在 重 蹈 前 人 禾 略 ， 过 
去 美国 的 科技 巨头 们 也 把 个 人 简历 看 得 比 个 人 能 力 重 要 。 如 有 果 按 谷歌 
的 做 法 ， 其 创始 人 都 没有 资格 成 为 传奇 性 的 贝尔 实验 室 的 经 理 ， 因 为 
他 们 都 在 博士 阶段 辍学 了 ;比尔 : 凋 葡 和 马克 : 扎 死 伯 格 也 都 会 被 淘汰 ， 
因为 他 们 都 没有 大 学 文才 


谷歌 对 数据 的 依赖 有 时 太 奔 张 了 。 玛 丽 莎 : 迈 尔 (Marissa Mayer) 曾 任 
谷歌 高 管 职位 ， 居 然 要 求 员工 测试 41 种 蓝 色 的 阴影 效果 中 ， 哪 种 被 人 
们 使 用 最 频 演 ， 从 而 决定 网 页 工具 栏 的 颜色 。 合 歌 的 数据 独裁 束 是 这 
样 达 到 了 顶峰 ， 同 时 也 油 起 了 反抗 。 


2009 年 ， 合 歌 首 席 设计 师 道 格 - 鲍 曼 (Doug Bowman) 因为 受 不 了 随时 
随地 的 量化 ， 愤 然 离 职 。“ 最 近 ， 我 们 竟然 争 淮 边 框 是 用 3、4 还 是 5 倍 

像素 ， 我 大 人 然 被 要 求证 明 我 的 选择 的 正确 性 。 天 呐 ! 我 没 办 法 在 这 样 

的 环境 中 工作 ，” 她 离职 后 在 博客 上 面 大 发 牢骚 ,“ 合 歌 完全 是 工程 师 

的 天 下 ， 所 以 只 会 用 工程 师 的 观点 解决 问题 一 一 把 所 有 决策 简化 成 一 

个 逻辑 问题 。 数 据 成 为 了 一 切 决 策 的 主 衬 ， 束 缚 住 了 整个 公司 。” 


其 实 ， 卓 越 的 才华 并 不 依赖 于 数据 。 史 蒂 夫 -乔布斯 多 年 来 持续 不 断 地 
改善 Mac 笔 记 本 ， 依 赖 的 可 能 是 行业 分 析 ， 但 是 他 发 行 的 Pod、 iPhone 
和 iPad 靠 的 吏 不 是 数据 ， 而 是 直觉 一 一 他 依赖 于 他 的 第 六 感 。 当 记者 
问 及 乔布斯 苹果 推出 iPad 之 前 做 了 多 少 市 场 调研 时 ， 他 那个 着 名 的 回 
答 是 这 样 的 :“ 没 做 ! 消费 者 没 义 务 去 了 解 目 己 想 要 什么 。” 


詹姆斯 -斯 科 特 (James Scott) 教授 是 耶鲁 大 学 政治 学 和 人 类 学 教授 ， 
他 在 《国家 的 视角 》 (Seeing Like a State) 一 书 中 记录 了 政府 如 何 因 
为 它们 对 量化 和 数据 的 言 目 崇尚 而 陷 人 民 的 生活 于 水 深 火 热 之 中 。 


它们 使 用 地 图 来 确定 社区 重建 ， 却 完全 不 知道 其 中 民众 的 生活 状态 。 
它们 使 用 大 量 的 农 收 数据 来 决定 采取 集体 农庄 的 方式 ， 但 是 它们 完全 
不 慌 农 业 。 它 们 把 所 有 人 们 一 直 以 来 用 之 交流 的 不 健全 和 系统 的 方式 


按照 自己 的 需求 进行 改造 ， 只 是 为 了 满足 可 量化 规则 的 需要 。 在 斯 科 
特 看 来 ， 大 数据 使 用 成 了 权力 的 武器 。 


这 十 数据 独裁 放大 了 的 写照 。 同 样 ， 也 是 这 种 目 大 导致 美国 基于 死亡 
人 数 而 不 是 更 理 关 的 衡量 标准 来 扩大 越南 战争 的 规模 。1976 年 ， 在 与 
日 俱 增 的 国内 压力 下 ， 麦 殉 纳 马 拉 在 一 次 演讲 中 说 道 ,“ 事 实 上 ， 真 的 
不 是 每 一 个 复 洒 的 人 类 情况 都 能 简化 为 曲线 图 上 的 线条 、 图 表 上 的 百 
分 点 或 者 资产 负债 表 上 的 数字 。 但 是 如 果 不 对 可 量化 的 事物 进行 量 
化 ， 我 们 就 会 失去 全 面 了 解 该 事物 的 机 会 。” 只 要 得 到 了 合理 的 利用 ， 
而 不 单纯 只 是 为 了 “数据 ”而 “数据 "， 大 数据 就 会 变 成 强大 的 武器 。 


20 世 纪 70 年 代 ， 罗 伯 特 :麦克 纳 马 拉 一 直 担任 世界 银行 行 长 。20 世 纪 80 
年 代 ， 他 仿 然 变 成 了 和 平 的 象征 。 他 为 反 核 武 絮 和 环境 保 扩 摇 旗 呐 

喊 。 然 后 ， 他 经 历 了 一 次 思想 的 转变 并 且 出 版 了 一 本 回忆 录 《 回 顾 : 
越战 的 悲剧 与 教训 》 (n Retrospect : The Tragedy and Lessons of 
Vietnam) ， 书 中 批判 了 战争 的 错误 指导 思想 并 承认 了 他 当年 的 行 

为 “非常 错误 ”， 他 写 道 , RIET, KERE! ”但 书 中 还 是 只 承认 
了 战争 的 整体 策略 的 错误 ， 并 未 具体 流露 出 对 数据 和 “死亡 人 数 ”饱含 
感情 的 性 悔 。 他 承认 统计 数据 具有 “误导 或 者 迷惑 性 ”"，“ 但 是 对 于 你 能 
计算 的 事情 ， 你 应 该 计算 ; 死亡 数 束 属于 应 该 计算 的 .…...”2009 年 ， 竺 
年 93 岁 的 麦克 纳 马 拉 去 世 ， 他 被 认为 是 一 个 聪明 却 并 不 蹇 智 的 人 。 


大 数据 诱 使 我 们 犯 下 罗伯特 .麦克 纳 马 拉 所 犯 的 罪行 ， 也 让 我 们 盲目 信 
任 数据 的 力量 和 潜能 而 忽略 了 它 的 局 限 性 。 把 大 数据 等 同 于 死亡 人 
数 ， 我 们 只 需要 想 想 上 文 提 到 的 谷歌 流感 趋势 。 设 想 一 下 致命 的 流感 
正 健 虐 全 国 ， 而 这 并 不 是 完全 不 可 能 出 现 的 ; RAS AIA 
通过 检索 词 条 ， 我 们 能 够 实时 预测 流感 重 灾 地 ， 他 们 也 整 能 及 时 去 到 
最 需要 他 们 的 地 方 。 


但 是 在 危急 时 刻 ， 政 府 领导 可 能 会 认为 只 知道 哪里 流感 疫情 最 严重 还 
远 远 不 够 。 如 果 试 图 抑制 流感 的 传播 ， 束 需要 更 多 的 数据 。 所 以 他 们 
呼吁 大 规模 的 隔离 ， 当 然 不 是 说 隔离 这 个 地 区 的 所 有 人 ， 这 样 既 无 必 
要 也 太 费 事 。 大 数据 能 给 我 们 更 精确 的 信息 ， 所 以 我 们 只 需 隔 离 搜索 
了 和 流感 有 最 直接 天 系 的 人 。 如 此 ， 我 们 有 了 需要 隔离 的 人 的 数据 ， 
ee emer 数据 ， 找 出 该 用 户 并 送 入 
HA Ò o 


我 们 可 能 觉得 ， 这 种 做 法 很 合理 ， 但 是 事实 上 ， 这 有 走 完 全 错误 的 。 相 
天 性 并 不 意味 着 有 因 来 关系 。 通 过 这 种 方式 找 出 的 人 ， 可 能 根本 整 没 
有 感染 流感 。 他 们 只 古人 补 预测 所 害 ， 更 重要 的 是 ， 他 们 成 了 奔 大 数据 
作用 同时 义 没有 领会 数据 真 席 的 人 的 礁 罪 壮 。 合 歌 流 感 趋势 的 核心 思 
想 是 这 些 检索 词 条 和 流感 爆发 相关 ， 但 是 这 也 可 能 只 是 医疗 护 工 在 办 
公 室 听 到 有 人 打 喷 吨 ， 然 后 上 网 查询 如 何 防止 自身 感染 ， 而 不 是 因为 
他 们 目 己 真 的 生病 了 。 


挣脱 大 数据 的 困境 


大 数据 为 监测 我 们 的 生活 提供 了 便利 ， 同 时 也 让 保护 隐私 的 法 律 手段 
失去 了 应 有 的 效力 。 面 对 大 数据 ， 保 护 隐私 的 核心 技术 不 再 适用 了 。 
同样 ， 通 过 大 数据 预测 ， 对 我 们 的 未 来 想法 而 非 实际 行为 采取 和 您 昼 措 
施 ， 也 让 我 们 慢 鸭 不 安 ， 因 为 这 否认 了 目 由 意志 并 伤害 了 人 类 苯 应 。 


同时 ， 那 些 竹 到 大 数据 益处 的 人 ， 可 能 会 把 大 数据 运用 到 它 不 适用 的 
领域 ， 而 且 可 能 会 过 分 膨胀 对 大 数据 分 析 结 果 的 信赖 。 随 着 大 数据 预 
测 的 改进 ， 我 们 会 越 来 越 想 从 大 数据 中 据 金 ， 最 终 导 人 致 一 种 盲目 潜 
拜 ， 毕 竟 它 是 如 此 的 无 所 不 能 。 这 藉 是 我 们 必须 从 麦克 纳 马 拉 的 故事 
中 引 以 为 戒 的 。 


必须 杜绝 对 数据 的 过 分 依赖 ， 以 防 我 们 重 蹈 伊 卡 洛 斯 的 履 略 。 他 束 
征 因 为 过 分 相信 和 目 己 的 飞行 技术 ， 最 终 误 用 了 数据 而 落 入 了 海中 。 下 
T 


[1] 这 古 一 种 植物 补 光 灯 ， 也 是 植物 生长 灯 的 一 种 ， 依 照 植物 生长 需要 
OE a ee em 
i 


086055 
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[3] Blue CRUSH, X Crime Reduction Utilizing Statistical HistoryH i 
写 ， 意 为 利用 统计 历史 减少 犯罪 。 (EAE 


[4] ER A OA A SE RR A E, DA 
于 中 央 完 全 没有 意识 到 20 世 纪 60 年 代 初 可 怕 的 饥 亮 ， 还 在 大 量 出 口粮 
食 以 换取 其 他 战略 物资 。 译 者 注 


[5] 硕 腾 神话 人 物 ， 有 是 希腊 神话 中 代 达 罗斯 的 儿子 。 与 代 达 罗斯 使 用 昱 
ALPS WA RY, Alte fe, KERKE, OER 
WE TE ARRAS SCM BK RE, LS TEN a Eo NTER 
伊 卡 洛斯 ， 埋 三 伊 卡 次 斯 的 海马 被 命名 为 伊 卡 利 亚 。 一 一 编者 注 


08 掌控 : 责任 与 目 由 并 举 的 信息 管理 


当世 界 开始 迈 问 大 数据 时 代 时 ， 社 会 也 将 经 历 类 似 的 地 壳 运 动 。 在 改 
a 大 数据 于 已 在 推动 人 类 信息 管 
} 
间 


准则 的 重新 定位 。 然 而 ， 不 同 于 印刷 革命 ， 我 们 没有 几 个 世纪 的 时 
去 适应 ， 我 们 也 许 只 有 几 年 时 间 。 


一 场 管理 规范 的 变革 


我 们 在 生产 和 信息 交流 方式 上 的 变 车 必然 会 引发 目 我 管理 所 用 规范 的 
变 单 。 同 时 ， 这 些 变 单 也 会 市 动 社 会 需要 维护 的 核心 价值 观 的 转变 。 
我 们 以 印刷 机 的 发 明 导 致 的 信息 洪流 为 例 。 


1450 年 前 后 ， 古 登 堡 发 明了 活字 印刷 机 ， 在 这 之 前 ， 思 想 的 传播 受到 
了 板 大 的 限制 。 一 方面 ， 书籍 大 多 补 封 禁 在 修道 院 的 图 书馆 里 ， 依 照 
天 主教 精心 制定 的 规定 ， 被 僧侣 产 格 看 守 春 ， 为 的 是 确保 并 维 扩 其 统 
治 地 位 。 在 教堂 之 外 ， 少 数 几 所 大 学 也 收藏 了 一 些 书籍 oai 
的 样子 ，15 世 纪 初 ， 剑桥 大 学 图 书馆 大 概 有 122 本 大 部 头 。 一 方面 ， 
读 写 水 平 的 欠缺 也 古 当 时 信息 传播 受 限 的 一 个 重要 因素 。 


古 登 堡 的 印刷 机 让 书籍 和 手册 的 大 量 刊 印 成 为 可 能 。 蕊 丁 :路 德 
(Martin Luther) 把 拉丁 语 版 本 的 《圣经 》 翻 译 成 日 常 使 用 的 德 文 ， 
让 越 来 越 多 的 人 可 以 不 通过 牧师 而 直接 聆听 上 帝 的 声音 ， 德 语 版 的 
《圣经 》 是 当时 卖 得 最 好 的 书 ， 这 也 让 他 更 确信 《和 圣经》 可 以 印刷 、 
分 发 给 成 十 上 万 的 人 。 就 这样， 信息 传播 越 来 越 广 沁 。 


这 种 巨变 也 使 得 创立 新 规范 来 管理 活字 印刷 术 所 引发 的 信息 爆炸 的 条 
件 变 得 成 熟 。 审 查 和 许可 条 例 被 创立 ， 用 来 规范 和 管理 出 版 物 。 闭 作 
权 法 的 制定 为 创作 者 市 来 了 进行 创作 的 法 律 和 经 济 动力 。 随 后 ， 保 护 
公民 言论 和 目 由 被 写 入 了 宪法 。 一 如 有 既往， 权利 伴随 着 责任 产生 了 。 当 
低俗 的 报纸 践踏 人 们 隐私 权 或 诽谤 其 名 誉 时 ， 法 律 规范 融会 出 现 以 保 
护 人 们 的 隐私 权 并 允许 他 们 对 文字 诽谤 提出 上 诉 。 


可 是 ， 变 革 并 不 止 于 规范 。 这 种 管理 规范 上 的 改变 也 体现 了 当时 更 深 
层次 的 价值 观 转变 。 en AA 一 次 意识 到 了 文字 的 力 
量 ; 最终， 也 意识 到 了 信息 广泛 传播 的 重要 性 。 几 个 世纪 过 去 了 ,我 


们 选择 获取 更 多 的 信息 而 非 更 少 ， 并 且 借 助 限制 信息 滥用 的 规范 而 不 
征 最 初 的 审查 来 防止 其 泛滥 。 


随 着 世界 开始 迈 向 大 数据 时 代 ， 社 会 也 将 经 历 类 似 的 地 充 运 动 。 在 改 
变 我 们 许多 基本 的 生活 和 思考 方式 的 同时 ， 大 数据 早已 在 推动 我 们 去 
重新 考虑 最 基本 的 准则 ， 包 括 怎 样 玖 励 其 增长 以 及 怎样 过 制 其 潜在 威 
bo 然而， 不 同 于 印刷 车 命 ， 我 们 没有 几 个 世纪 的 时 间 去 慢 慢 适应 ， 
我 们 也 许 只 有 几 年 时 间 。 


大 数据 时 代 ， 对 原 有 规范 的 修 修 补 补 已 经 满足 不 了 需要 ， 也 不 足以 柳 
制 大 数据 市 来 的 风险 一 一 我 们 需要 全 新 的 制度 规范 ， 而 不 是 修改 原 有 
规范 的 适用 范围 。 想 要 保护 个 人 隐私 整 需 要 个 人 数据 处 理 器 对 其 政策 
和 行为 承担 更 多 的 责任 。 同 时 ， 我 们 必须 重新 定义 公正 的 概念 ， 以 确 
保 人 类 的 行为 自由 (也 相应 地 为 这 些 行为 承担 责任 ) 。 新 机 构 和 专家 
们 和 需要 设计 复杂 的 程序 对 大 数据 进行 解读 ， 挖 据 出 其 潜在 的 价值 和 结 
论 。 他 们 也 要 癌 那 些 可 能 受害 于 大 数据 结论 的 人 一 一 因 之 被 剥 守 了 工 
作 、 接 受 医疗 或 贷 蒜 权利 的 人 ， 提 供 文 持 。 对 已 有 的 规范 进行 修 修补 
补 已 经 不 够 了 ， 我 们 需要 推陈出新 。 


管理 变革 1: 个 人 隐私 保护 ， a 


数 十 年 来 ， 全 球 范 围 内 的 隐私 规范 都 开始 让 人 们 目 主 决定 是 否 、 如 何 
以 及 经 由 谁 来 处 理 他 们 的 信息 ， 把 这 种 控制 权 放 在 了 人 们 目 己 手中 ， 
这 也 是 隐私 规范 的 核心 准则 。 在 互联 网 时 代 ， 这 个 伟大 的 理想 往往 会 
演变 成 “告知 与 许可 ”的 公式 化 系统 。 


在 大 数据 时 代 ， 因 为 数据 的 价值 很 大 一 部 分 体现 在 二 级 用 途上 ， 而 收 
em T nee ee eee 


在 大 数据 时 代 ， 我 们 需要 设立 一 个 不 一 样 的 隐私 保护 模式 ， 这 个 模式 
应 该 更 着 重 于 数据 使 用 者 为 其 行为 承担 责任 ， 而 不 是 将 重心 放 在 收集 
数据 之 初 取得 个 人 同意 上 。 这 样 一 来 ， 使 用 数据 的 公司 束 需 要 基于 其 
将 对 个 人 所 造成 的 影响 ， 对 涉及 个 人 数据 再 利用 的 行为 进行 正规 评 
测 。 当 然 ， 并 不 是 说 任何 时 候 都 必须 非常 详尽 。 


未 来 的 隐私 保护 法 应 当 区 分 用 途 ， 包 括 不 需要 或 者 只 需要 适当 标准 化 
保护 的 用 途 。 对 于 一 些 危 险 性 较 大 的 项 目 ， 管 理 者 必须 设立 规章 ， 规 
定数 据 使 用 者 应 如 何 评估 风险 、 如 何 规避 或 者 减轻 潜在 伤害 。 这 将 激 
发 数据 的 创新 性 再 利用 ， 同 时 也 确保 个 人 免 受 无 妄 之 灾 。 


对 大 数据 使 用 进行 正规 评测 及 正确 引导 ， 可 以 为 数据 使 用 者 市 来 切实 
的 好 处 : 很 多 情况 下 ， 他 们 无 须 再 取得 个 人 的 明确 同意 ， 束 可 以 对 个 
人 数据 进行 二 次 利用 。 相 反 地 ， 数 据 使 用 者 也 要 为 数 衍 了 事 的 评测 和 
不 达标 准 的 你 护 描 施 承担 法 律 责任 ， 诸 如 强制 执行 、 济 款 甚 至 刑事 处 
加 。 数 据 使 用 者 的 责任 只 有 在 有 强制 力 规范 的 情况 下 才能 确保 履行 到 


位: 


为 了 了 解 它 是 如 何 运 用 到 实践 当中 的 ， 我 们 以 第 4 章 提 到 的 数据 化 个 人 
坐姿 信息 为 例 。 假 设 一 家 公司 出 售 了 一 项 以 敬 驶 员 坐 姿 为 特定 识别 符 
的 汽车 防盗 技术 。 然 后 ， 它 对 收集 到 的 信息 进行 分 析 ， 预 测 营 驶 员 的 
注意 力 状态 〈 比 如 民 民 欲 睡 、 醇 酒 以 及 生气 ) ， 以 此 向 周围 其 他 芍 驶 
员 发 出 警报 以 防 发 生 交通 事故 。 根 据 目 前 的 隐私 规范 ， 他 可 能 需要 新 
一 轮 的 告知 与 许可 ， 因 为 这 样 使 用 信息 是 未 经 营 驶 员 授 权 的 。 但 是 如 
今 ， 在 数据 使 用 者 的 责任 承担 体系 下 ， 他 们 区 会 评估 预期 用 途 的 危险 
性 。 如 采 发 现 危 害 性 很 小 ， 他 们 束 可 以 着 手 实施 预定 计划 并 实现 提高 
当 驶 安全 性 的 目标 。 


大 数据 洞察 


将 责任 从 民众 转移 到 数据 使 用 者 很 有 意义 ， 也 存在 充分 的 理由 ， 因 为 
数据 使 用 者 比 任 何人 都 明白 他 们 想 要 如 何 利 用 数据 。 他 们 的 评估 (或 
者 由 他 们 所 雇用 的 专 家 制定 的 评 佑 ) 避免 了 商业 机 密 的 泄露 。 也 许 更 
为 重要 的 是 ， 数 据 使 用 者 是 数据 一 级 应 用 的 最 大 受益 着 ， 所 以 理 所 当 
然 应 该 让 他 们 对 自己 的 行为 负责 


此 外 ， 与 目前 大 多 数 隐私 保护 法 所 要 求 的 不 一 样 ， 数 据 使 用 者 达到 了 

最 初 目 的 之 后 ， 法 律 上 不 再 规定 必须 删除 个 人 信息 。 相 反 ， 数 据 使 用 

者 被 允许 较 长 时 间 地 保存 数据 ， 虽 然 不 能 永远 。 这 是 一 个 意义 重大 的 

变革 ， 因 为 ， 就 像 我 们 所 知道 的 ， 只 有 开发 数据 的 潜在 价值 ， 对 数据 

价值 进行 最 大 程度 的 挖掘 ， 近 代 “ 莫 里 * 们 才能 发 展 繁 案 ， 并 促进 目 吴 

A 
种 来 的 风险 。 


为 实现 这 一 平衡 ， 监 管 机 制 可 以 决定 不 同 种 类 的 个 人 数据 必须 删除 的 
时 间 。 再 利用 的 时 间 框 架 则 取决 于 数据 内 在 风险 和 社会 价值 观 的 不 
同 。 一 些 国家 也 许 会 更 谨慎 ， 而 某 些 种 类 的 数据 也 许 会 更 敏感 。 


这 一 方式 通过 限制 个 人 信息 存储 和 处 理 的 时 间 而 保护 了 个 人 隐私 ， 也 
可 以 消除 "永久 记忆 ”的 八代 一 一 永 不 魔 丈 的 数字 记录 让 人 无 法 告别 过 
去 。 我 们 的 个 人 数据 就 像 达 摩 克 利 斯 之 剑 一 样 蕊 在 涉 上 ， 多 年 之 后 也 
会 因为 一 件 私事 或 者 一 次 遗憾 的 购买 记录 而 说 翻 出 来 再 次 刺 痛 我 们 。 
时 间 限 制 也 激励 数据 使 用 者 在 有 权限 的 时 间 内 尽力 挖掘 出 数据 的 价 

值 。 这 就 是 我 们 认为 更 适用 于 大 数据 时 代 的 平衡 : 公司 可 以 利用 数据 
的 时 间 更 长 ， 但 相应 地 必须 为 其 行为 承担 责任 以 及 负 有 特定 时 间 之 后 
删除 个 人 数据 的 义务 。 


大 数据 洞察 


PR T EEE EAI 即 从 个 人 许可 到 数据 使 用 者 承担 相应 贡 任 的 转 

我 们 也 需要 发 明 并 推行 狐 技 术 方 式 来 促进 隐私 保护 。 一 个 创新 途 
径 就 是 “差别 隐私 2 改 意 将 数据 模糊 处 理 ， 促使 对 大 数据 库 的 查询 不 
能 显示 精确 的 结果 ， 而 只 有 相近 的 结果 。 这 就 使 得 控 出 特定 个 人 与 特 


定数 据点 的 联系 变 得 难以 实现 并 且 耗 费 巨 大 。 


言 思 模糊 处 理 听 起 来 似乎 破坏 了 其 解读 价值 ， 但 是 也 并 不 一 定 ， 至 少 
ie MAIS TE e BUM DONC Te Acts Hilde 2 Facebook's Fi 
PARE SP iii EBA: 只 能 得 出 大 概 数量 ， 

所 以 它们 不 会 暴露 个 人 身份 。 查询 亚特兰大 州 对 Ashtanaga 瑜 人 感 兴趣 
的 亚洲 女性 ， 会 得 出 诸如 “400 左 右 ” 这 样 的 结果 而 非 一 个 定 值 。 因 此 ， 
利用 这 个 信息 排查 到 个 人 是 不 可 能 的 。 


个 人 隐私 保护 从 个 人 许可 到 数据 使 用 者 承 担 责任 的 转变 是 一 个 本 质 上 
的 重大 变 章 。 我 们 必须 将 类 似 范 围 内 的 变革 应 用 到 大 数据 预测 中 去 ， 
以 维护 人 类 的 目 由 和 责任 。 


管理 变革 2: 个 人 动因 VS 预测 分 析 


在 法 许 上 ， 个 人 对 目 己 的 行为 负 有 责任 。 一 番 公 正 的 审讯 之 后 ， 审 判 
员 会 做 出 公平 公正 的 判决 。 然 而 ， 在 大 数据 时 代 ， 关 于 公正 的 概念 需 
要 重新 定义 以 维护 个 人 动因 的 想法 : 人 们 选择 自我 行为 的 目 由 意志 。 
简单 地 说 ， 就 是 个 人 可 以 并 应 该 为 他 们 的 行为 而 非 倾 向 负责 。 


EE 


在 太 数 据 时 代 之 前 ， 这 征明 显 而 基 本 的 目 由 权利 。 事 实 上 ， 了 明确 到 不 
需要 进行 说 明 。 毕 葛 ， 我 们 的 法 律 体系 就是 这 样 运作 的 ， 通 过 评判 人 
们 过 去 的 行为 使 之 为 其 行为 承担 责任 。 然 而 ， 有 了 大 数据 ， 我 们 束 能 
预测 人 的 行为 ， 有 了 时 还 能 十 分 准确 。 这 诱 使 我 们 依据 预测 的 行为 而 非 
实际 行为 对 人 们 进行 评定 。 


大 数据 洞察 


吴 处 大 数据 时 代 ， 我 们 必须 拓宽 对 公正 的 理解 ， 必 须 把 对 个 人 动因 的 
保护 纳入 进来 ， 束 像 目 前 我 们 为 程序 公正 所 做 的 努力 一 样 。 如 大 不 
然 ， 公 正 的 信念 吏 可 能 被 完全 破坏 。 


通过 保证 个 人 动因 ， 我 们 可 以 确保 政府 对 我 们 行为 的 评判 是 基于 真实 
行为 而 非 单纯 依靠 大 数据 分 析 。 从 而 ， 政 府 只 能 依法 对 我 们 过 去 的 真 
实行 为 进行 追究 ， 而 不 可 以 追究 大 数据 预测 到 的 我 们 的 未 来 行为 ， 或 
者 ， 在 政府 评判 我 们 过 去 的 行为 时 ， 也 应 该 防止 单纯 依赖 大 数据 的 分 
析 。 例 如 ， 在 对 两 家 涉嫌 操纵 价格 的 公司 进行 调查 时 ， 我 们 完全 可 以 
借助 大 数据 分 析 先 作出 大 概 判 是， 然后 监管 机 构 再 以 传统 手段 立案 和 
a 不 过 ， 当 然 不 能 只 因为 大 数据 分 析 预 测 它们 可 能 犯罪 ， 琉 
HERAF ° 


相似 的 原理 应 当 运 用 到 政府 领域 之 外 ， 比 如 公司 在 进行 关乎 我 们 个 人 
利 花 的 重大 决策 时 一 一 雇用 与 解雇 ， 同 意 按揭 或 者 拒 发 信用 卡 。 如 采 
他 们 单纯 依据 大 数据 预测 作出 这 些 决 策 ， 特 定 的 防护 措施 束 必 须 到 


AM? 


e 第 一 ， 公 开 原 则 。 因 为 这 将 直接 影响 到 个 人 ， 所 以 必须 公开 用 来 进 
行 预测 分 析 的 数据 和 算法 系统 。 


e 第 二 ， 公 正 原则 。 具 备 由 第 三 方 专家 公证 的 可 靠 、 有效 的 算法 系 


e 第 二 ， 可 反驳 原则 。 明 确 提 出 个 人 可 以 对 其 预测 进行 反驳 的 具体 方 
式 (这 类 似 于 科学 研究 中 披露 任何 可 能 影响 研究 结果 的 因素 的 传 


统 ) 


e 服 重要 的 是 ， 要 确 你 个 人 动因 能 防范 “数据 独裁 * 的 危害 一 一 我 们 赋予 
数据 本 不 具备 的 意义 和 价值 。 
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时 做 出 关乎 他 人 的 决策 时 ， 都 不 再 需要 决策 者 们 承担 责任 。 an 
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有 了 所 有 看 似 客观 的 数据 ， 对 我 们 的 决策 过 程 去 情绪 化 和 去 特殊 化 ， 
以 运算 法 则 取代 审判 员 和 评价 者 的 主观 评价 ， 不 再 以 追究 责任 的 形式 
表明 我 们 的 决策 的 严肃 性 ， 而 古 将 其 表述 成 更 “客观 ”的 风险 和 风险 规 
避 ， 听 起 来 都 是 不 错 的 主意 。 


比如 说 ， 大 数据 强烈 诱 使 我 们 隔离 那些 锌 预言 将 会 犯罪 的 人 们 ， 以 减 
少 风险 的 名 义 对 其 进行 不 断 审 查 ， 即 使 他 们 确实 在 为 疝 不 需 承担 贡 任 
的 事情 接受 惩 鹿 。 设 想 一 下 ,， “预测 警 务 " 的 运算 法 则 鉴定 某 个 青少年 
在 未 来 五 年 内 很 可 能 犯 重罪 。 结 果 ， 当 局 决定 派 遗 一 名 社会 工作 者 每 
月 拜访 他 一 次 以 对 其 进行 监视 ， 并 尽力 帮助 他 解决 问题 。 如 有 果 该 少年 
及 其 亲属 、 朋 友 、 老 师 或 雇主 将 这 种 拜访 视 为 一 种 耻辱 (这 种 情况 极 
有 可 能 发 生 ) ， 那 么 这 就 起 到 了 惩 台 的 作用 ， 的 确 是 对 未 发 生 的 行为 
的 惩罚 。 然 而 ， 如 果 这 种 拜访 完全 不 被 视 为 您 瑚 ， 而 只 是 为 了 减少 问 
题 出 现 的 可 能 ， 即 作为 一 种 将 风险 降 至 最 低 的 方式 (在 这 里 指 的 是 将 
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人 责任 意识 的 贬值 。 主 张 预测 的 国家 是 保姆 式 的 国家 ， 而 且 远 不 止 如 
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如 有 果 国 家 做 出 的 许多 决策 都 是 基于 预测 以 及 减少 风险 的 愿望 ， 束 不 存 
在 所 谓 个 人 的 选择 了 ， 也 不 用 提 目 主 行 为 的 权利 。 无 徘 ， 无 请 日 。 如 
一 来 ， 世 界 不 止 不 会 进步 ， 反 而 在 倒退 


大 数据 洞察 

大 数据 管理 的 基本 文 撑 是 保证 我 们 依然 是 通过 考虑 他 人 的 个 人 责任 对 

其 进行 评判 ， 而 不 是 借助 “客观 ”数据 处 理 去 决定 他 们 是 否 违法 。 只 

这 样 ， 我 们 才 是 把 其 当 作 人 来 对 每 一 一 当 作 有 行为 选择 自由 和 通过 目 

主 行为 被 评判 的 人 。 这 就 是 从 大 数据 推论 到 今天 的 无 罪 推 是 原则 。 
管理 变革 3: 击 碎 黑 盒子 ， 大 数据 算法 师 的 崛起 


目前 ， 计 算 机 系统 做 出 决策 的 方式 是 基于 程序 明确 设 定 所 需 遵 循 的 规 
则 。 这 样 ， 如 果 它 们 的 决策 出 错 (这 是 不 可 避免 的 ， 我 们 就 可 以 回 
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湿度 油 增 的 情况 时 ， 智 能 飞行 系统 使 飞机 上 升 了 5 度 ? ”等 。 现 在 的 计 

算 机 编码 能 被 解码 、 检 查 ， 并 且 可 以 解读 其 决策 依据 一 一 无 论 多 么 复 

杂 ， 至 少 对 于 懂得 如 何 解码 的 人 不 存在 问题 。 


然而 ， 有 了 大 数据 分 析 ， 这 种 追踪 会 变 得 愈 发 困难 。 对 人 们 而 言 ， 进 
行 预测 分 析 的 计算 机 系统 往往 过 于 复杂 ， 根 本 无 法 理解 。 但 当 计算 机 
按 程序 设置 明确 执行 一 系列 指令 时 ， 和 情况 就 不 一 样 了 。 例 如 1954 年 早 
期 ， 在 IBM 将 俄 文 译 成 英文 的 翻译 程序 中 ， 和 人们 就 能 轻松 理解 一 个 单 
词 译 成 男 一 个 单词 的 原因 。 但 是 ， 对 于 谷歌 利用 几 十 亿 页 的 翻译 数据 
开发 出 的 翻译 系统 ， 当 其 将 英文 单词 "light" 译 成 <* 光 ”而 不 是 “重量 
轻 " 时 ， 束 不 可 能 清楚 地 解释 如 此 选择 的 原因 ， 毕 苋 这 个 预测 分 析 古 基 
于 海量 数据 和 庞大 的 统计 计算 之 上 的 。 


大 数据 的 运作 是 在 一 个 超出 我 们 正常 理解 的 范围 之 上 的 。 例 如 ， 合 歌 
所 确定 的 与 流感 相关 的 检索 词 条 是 通过 测试 了 4.5 亿 个 数学 模型 而 得 出 
的 。 而 茸 西 亚 . 鲁 丁 最 初 为 判断 沙井 盖 是 否 会 着 火 设 定 了 106 个 预测 
器 ， 因 此 才能 回 联合 爱迪生 电力 公司 的 经 理解 释 为 何 程序 要 求 优先 检 
查 某 个 沙井 盖 。“ 可 解释 性 ”正如 在 人 工 智能 界 所 称 的 一 样 ， 对 于 不 仪 
想 知 道 “ 是 什么 ”更 想 知 道 “ 为 什么 ”的 人 类 来 说 非常 重要 。 可 是 ， 如 果 
系统 目 动 生 成 的 不 是 106 个 预测 右 ， 而 是 601 个 的 话 ， 那 该 怎么 办 呢 ? 
虽然 其 中 大 部 分 都 没有 多 大 用 途 ， 但 是 一 旦 汇聚 起 来 就 能 提高 模型 的 
准确 性 ， 而 预测 的 基础 就 会 变 得 惊人 地 复杂 。 如 此 的 话 ， 圣 西亚 : 鲁 丁 
人 电力 公司 的 经 理 再 分 配 它 们 本 就 不 多 的 预算 
ia 


在 这 些 背 景 下 ， 我 们 能 看 到 大 数据 预测 、 运 算法 则 和 数据 库 有 变 为 黑 
盒子 的 风险 ， 这 个 墨盒 子 不 透明 、 不 可 解释 、 不 可 追踪， 因而 我 们 对 
其 信心 全 无 。 为 了 防止 这 些 情 况 的 出 现 ， 大 数据 将 需要 被 监测 并 保持 
透明 度 ， 当 然 还 有 使 这 两 项 得 以 实现 的 新 型 专业 技术 和 机 构 。 它 们 将 
为 许多 领域 提供 文 持 ， 在 这 些 领域 里 社会 需要 检测 预测 结果 并 能 够 为 
被 其 错误 引导 的 人 群 提供 弥补 方法 。 


社会 发 展 出 现 过 很 多 这 种 情况 ， 当 一 个 特定 领域 变 得 特别 复杂 和 专门 
化 之 后 ， 束 会 催生 出 对 运用 新 技术 的 专门 人 才 的 迫切 需求 。 在 一 个 多 
世纪 以 前 ， 法 律 、 医 学 、 会 计 以 及 工程 学 领域 都 经 历 过 这 种 转型 。 不 
久 前 ， 计 算 机 安全 和 隐私 顾问 的 突然 兴起 ， 证 实 了 公司 都 在 遵循 由 一 


些 组 织 确 立 的 行业 最 佳 做 法 ， 如 国际 标准 化 组 织 ， 它 古 为 满足 这 个 领 
域 对 准则 的 需要 而 目 发 形成 的 。 


大 数据 洞察 


大 数据 将 和 要求 一 个 新 的 人 群 来 扮演 这 种 角色 ， 也 许 他 们 会 被 称 作 “算法 
师 ”。 他 们 有 两 种 形式 : 在 机 构 外 部 工作 的 独立 实体 和 机 构 内 部 的 工作 
人 员 一 一 正如 公司 有 内 部 的 会 计 人 员 和 进行 鉴证 的 外 部 审计 师 。 


这 些 新 的 专业 人 员 会 是 计算 机 科学 、 数 学 和 统计 学 领域 的 专家 ， 他 们 
将 担任 大 数据 分 机 和 预测 的 评估 专家 。 他 们 必须 保证 公正 和 保密 ， 丈 
像 现 在 的 审计 员 和 其 他 专业 人 入 员 所 做 的 一 样 。 他 们 可 以 评估 数据 源 的 
挑选 ， 分 析 和 预测 工具 的 选取 ， 甚 至 包括 运算 法 则 和 模型 ， 以 及 计算 
结果 的 解读 是 否 正确 合理 。 。 一 旦 出 现 争 议 ， 他 们 有 权 考 察 与 分 析 结 有 果 
相关 的 运算 法 则 、 统 计 方 法 以 及 数据 集 。 


如 采 2004 年 美国 国土 安全 部 配备 有 一 名 算法 师 ， 它 也 许 不 会 生成 一 份 
这 么 差劲 的 禁 飞 名 单 ， 况 然 把 马萨诸塞 州 参议 员 特 德 .肯尼迪 都 列 入 了 
其 中 。 最 近 在 日 本 、 法 国 、 德 国 和 意大利 ， 算 法 师 也 可 以 发 挥 作用 ， 
这 些 国家 的 很 多 人 认为 谷歌 的 * 目 动 完成 ?等 征程 序 诽谤 了 他 们 。 这 有 是 
一 个 生成 与 姓名 相关 的 普遍 搜索 词 的 程序 ， 它 很 大 程度 上 依据 的 是 之 
前 的 搜索 频率 ， 这 些 词 条 根据 数学 概率 进行 排名 。 如 末 类 似 “ 犯 腓 " 或 
者 “ 娼 嫌 ”这 样 的 字眼 出 现在 你 姓名 稼 边 ， 而 碰巧 被 你 的 业务 伙伴 或 者 
ZAAT, MRED? 


我 们 将 “算法 师 ” 的 概念 视 为 是 在 以 市 场 为 导 回 来 解决 这 些 问 题 ， 这 也 
忠 避 人 免 了 以 侵入 式 的 规章 来 解决 问题 。 他 们 和 20 世 纪 早 期 为 了 处 理 沁 
滥 的 财务 信息 而 出 现 的 会 计 以 及 审计 员 一 样 ， 都 是 为 了 满足 新 需求 而 
出 现 的 。 一 般 人 很 难 理解 这 样 的 数字 冲击 ， 所 以 必须 有 一 群 以 一 种 灵 
活 的 目 我 监管 方式 组 织 起 来 的 专业 人 员 去 保护 大 众 的 利益 。 于 是 ， 提 
供 专门 的 金融 监管 服务 的 新 公司 就 这 样 应 运 而 生 。 如 此 一 来 ， 这 种 狐 
类 型 的 专门 人 才 也 帮助 社会 大 众 增强 了 他 们 对 经 济 本 身 的 信心 。 大 数 
据 可 以 也 应 该 从 算法 师 给 予 的 类 似 信心 提 振 中 获 利 。 


外 部 算法 师 


外 部 算法 师 将 扮演 公正 的 审计 员 的 角色 ， 在 客户 或 政府 所 要 求 的 任何 
时 候 ， 根 据 法 律 指令 或 规章 对 大 数据 的 准确 程度 或 者 有 效 性 进行 鉴 


定 。 他 们 也 能 为 需要 技术 支持 的 大 数据 使 用 者 提供 审计 服务 ， 还 可 以 
为 他 们 证 实 大 数据 应 用 程序 的 健全 性 ， 例 如 反 欺 诈 技 术 或 者 股票 交易 
系统 。 最 后 ， 他 们 将 和 政府 商议 公共 领域 大 数据 的 最 佳 使 用 办 法 。 


忠 像 医学 、 法 律 和 其 他 行业 一 样 ， 我 们 设想 这 个 新 行业 会 有 目 己 的 行 
业 规 范 。 算 法 师 的 公正 、 你 密 、 资 历 以 及 专业 水 准 可 用 疗 苛 的 责任 规 
范 来 进行 强制 约束 ;如 采 他 们 不 能 达到 这 些 标准 ， 融 可 能 被 起 诉 。 他 
们 可 以 调任 为 审讯 中 的 专家 证 人 ， 或 在 审讯 中 过 到 特别 复杂 的 大 数据 
问题 时 被 法 官 委派 为 "法院 专 家 “一 主要 是 指 某 一 个 学 科 领 域 专家 为 
案件 审理 提供 援助 。 


此 外 ， 当 人 们 认为 他 们 受到 大 数据 预测 危害 一 一 被 拒绝 和 手术、 被 拒绝 
假释 、 被 拒绝 抵押 贷款 时 ， 便 可 以 同 算法 师 咨 询 并 针对 这 些 决定 提起 


诉讼 。 
内 部 算法 师 


内 部 算法 师 在 机 构 内 部 工作 ， 监 督 其 大 数据 活动 。 他 们 不 仅 要 考虑 公 
司 的 利益 ， 也 要 顾及 受到 公司 大 数据 分 析 影 响 的 其 他 人 的 利益 。 他 们 ] 
监督 大 数据 的 运转 ， 任 何 认为 遭受 其 公司 大 数据 危害 的 人 都 会 最 初 与 
他 们 取得 联系 。 在 公布 大 数据 分 析 结果 之 前 ， 他 们 也 对 其 完整 性 和 准 
确 度 进行 审查 。 为 了 扮演 好 这 两 个 角色 ， 算 法 师 首 先 要 做 到 的 天 是 必 
须 在 工作 机 构 内 部 拥有 一 定 程度 的 目 由 和 公正 。 


个 人 为 公司 工作 却 又 要 保持 公正 似乎 违 育 常识 ， 但 事实 上 这 十 分 种 
见 。 大 型 金融 机 构 的 监管 部 门 古 一 个 例子 ， 许 多 公司 的 董事 会 也 是 如 
此 ， 他 们 有 是 对 股东 人 负责 而 非 管理 者 。 许 多 传媒 公司 ， 包 括 《 纽 约 时 
报 》、《 和 华盛顿 邮 报 》 都 会 雇用 外 部 监察 人 来 维护 公众 信任 。 他 们 解 
决 读者 的 问题 ， 当 他 们 发 现存 在 不 当 行 为 时 ， 也 经 常 公开 责难 雇主 。 


甚至 ， 与 内 部 算法 师 更 类 似 的 职业 也 同样 存在 ， 即 负责 确保 企业 不 滥 
用 个 人 信息 的 职业 人 。 例 如 在 德国 ， 具 有 一 定 规 模 的 公司 (有 10 个 或 
以 上 人 员 处 理 个 人 信息 ) 必须 任命 一 名 数据 保护 代表 。20 世 纪 70 年 代 
以 来 ， 数 据 保护 代表 们 逐渐 形成 了 目 己 的 职业 道德 和 团体 精神 。 他 们 
进行 定期 会 面 ， 分 享 最 好 的 实践 经 验 并 进行 培训 ， 他 们 拥有 自己 专门 
的 媒体 和 会 议 ， 他 们 也 成 功 地 实现 了 一 方面 忠于 雇主 ， 男 一 方面 忠于 
目 己 作为 公证 人 的 职 珊 。 德 国 的 企业 数据 保护 代表 们 取得 了 很 大 的 成 


功 ， 既 充当 了 企业 数据 保护 监察 人 ， 又 将 信息 保密 观念 嵌入 了 整个 企 
业 运 作 过 程 。 我 们 相信 ， 算 法 师 同 样 也 能 做 到 。 
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数据 之 于 信息 社会 号 如 燃料 之 于 工业 革命 ， 是 人 们 进行 创新 的 力量 源 
果 。 没 有 大 量 鲜 活 的 数据 和 健全 的 服务 市 场 ， 这 些 创新 整 实现 不 了 。 


在 这 一 章节 ， 我 们 已 经 提 及 了 管理 上 的 二 个 基本 转变 。 随 着 这 些 转 变 
的 完成 ， 我 们 相信 ， 大 数据 的 不 利 影响 将 会 得 到 控制 。 然 而 ， 随 闭 尚 
未 成 熟 的 大 数据 产业 的 不 断 发 展 ， 男 一 个 重要 的 挑战 将 会 古 如 何 保 护 
极 具 葛 和 争 力 的 大 数据 市 场 。 我 们 必须 防止 21 世 纪 数 据 大 吝 的 崛起 ， 它 
相当 于 19 世 纪 强 盗 大 亨 的 现代 翻版 ， 那 些 强 盗 大 至 曾 垄 断 了 美国 的 铁 
路 、 钢 铁 生产 和 电报 网 络 。 


为 了 管理 这 些 新 兴 行 业 ， 美 国 制定 了 适应 性 极 强 的 反 垄 断 条 例 。 最 初 
是 在 19 世 纪 为 铁路 行业 制定 的 ， 后 来 又 被 应 用 到 了 掌管 商业 信息 的 其 
他 公司 ， 从 20 世 纪 最 初 十 年 的 国家 收银 机 公司 (National Cash 
Register) ， 到 20 世 纪 60 年 代 的 IBM、70 年 代 的 施乐 公司 、80 年 代 的 AT 
&T、90 年 代 的 微软 和 今天 的 谷歌 。 这 些 公司 所 开 尽 的 技术 成 了 经 济 
结构 中 “信息 基础 设施 ”的 核心 组 成 部 分 ， 所 以 为 了 防止 它们 垄断 ， 法 
律 的 支持 必 不 可 少 。 


为 了 确保 给 大 数据 提供 一 个 与 早期 技术 领域 情况 相当 的 活跃 的 市 场 环 
境 ， 我 们 应 该 实现 数据 交易 ， 比 如 通过 授权 和 协同 合作 的 方式 。 但 

是， 这 了 束 引发 了 一 个 问题 : 精心 达到 平衡 的 数据 独 有 权 ， 有 是 否 能 让 社 
会 大 众 从 中 获 利 ? 虽然 听 起 来 有 点 挑 峡 的 意味 ， 但 是 这 和 是否 能 像 知识 
产权 一 样 有 利于 社会 呢 ? 诚然 ， 要 达到 这 样 的 效果 ， 对 于 决策 者 来 

说 ， 是 一 个 艰难 的 任务 ， 而 对 于 普通 人 来 说 ， 则 充满 了 风险 。 技 术 发 
展 变幻 莫 测 ， 无 从 定论 ， 大 数据 也 无 法 预测 目 己 的 未 来 。 监 管 人 员 需 
人 
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领域 完 类 转移 到 另外 一 个 领域 ， 并 且 适 用 于 不 同类 型 的 网 络 产 业 。 这 
种 不 率 任 何 侦 祖 的 强 有 力 的 规章 非常 实用 ， 因 为 它 提 供 的 是 一 个 平等 
的 范 争 平台 ， 一 开始 便 没 有 任何 优 务 之 分 。 因 此 ， 为 了 促进 大 数据 平 
台 上 的 民 性 竞争 ， 政 府 必 须 运 用 反 人 垄断 条 例 。 而 且 ， 束 像 世界 上 一 些 


大 型 的 数据 拥有 者 那样 ， 政 府 也 应 该 公布 其 数据 。 令 人 高 兴 的 是 ， 这 
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肥 垄 断 法 的 经 验 是 ， 一 旦 确定 了 极 重要 的 原则 ， 管 理 者 整 要 将 之 付 诸 
行动 ， 以 确保 保护 措施 的 实施 到 位 。 同 样 ， 我 们 提出 了 三 项 策略 ， 包 
括 隐私 保护 从 个 人 许可 到 数据 使 用 者 承担 责任 的 转变 ， 在 使 用 预测 分 
析 时 考虑 个 人 动因 以 及 催生 大 数据 审计 员 ， 也 束 是 算法 师 。 这 都 将 旦 
大 数据 时 代 对 信息 进行 有 效 、 公 正 管理 的 基础 。 


伴随 着 从 核 技 术 到 生物 工程 学 其 他 领域 的 发 展 ， 人 类 总 是 和 完 创造 出 可 
能 危害 目 身 的 工具 ， 然 后 才 着 手 建立 保护 目 己 、 防 范 危 险 的 安全 机 
制 。 在 这 方面 ， 大 数据 也 和 其 他 领域 的 新 技术 一 样 ， 带 来 了 无 法 彻底 
解决 的 问题 。 男 外 ， 它 们 也 不 断 对 我 们 管理 世界 的 方法 提出 挑战 。 而 
我 们 的 任务 古 要 意识 到 新 技术 的 风险 ， 促 进 其 发 展 ， 然 后 斩获 成 末 。 


正如 印刷 机 的 发 明 引 发 了 社会 目 我 管理 的 变 单 ， 大 数据 也 是 如 此 。 它 
迫使 我 们 借助 新 方式 来 应 对 长 期 存在 的 挑战 ， 并 且 通 过 借鉴 基本 原理 
对 新 的 隐患 进行 应 对 。 不 过 ， 推 进 科学 技术 进步 的 同时 ， 应 确保 人 类 
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结语 正在 发 生 的 未 来 


大 数据 并 不 古 一 个 充斥 着 算法 和 机 妖 的 冰冷 世界 ， 人 类 的 作用 依然 无 
法 被 完全 奉 代 。 大 数据 为 我 们 提供 的 不 是 最 终 答 案 ， 只 是 参考 答案 ， 
帮助 是 暂时 的 ， 而 更 好 的 方法 和 答案 还 在 不 久 的 未 来 。 


凡是 过 去 ， 皆 为 序曲 


Zw A/R (Mike Flower) 是 21 世 纪 初 曼哈顿 地 区 检察 官办 公 室 的 一 
名 律师 ， 负 责 过 从 谋杀 案 到 华尔街 金融 犯罪 等 各 式 各 样 的 诉讼 案件 ， 

后 来 他 转 到 一 家 大 型 的 企业 律师 事务 所 工作 。 在 办 公 桌 后 度 过 了 无 聊 
的 一 年 后 ， 他 决定 离开 。 他 想 做 些 更 有 意义 的 事情 ， 随 即 想到 了 去 帮 
助 重建 伊拉克 。 在 公司 的 一 位 朋友 给 高 层 打 了 几 个 电话 后 ， 弗 劳 尔 被 
派 去 了 绿色 区 域 ， 也 就 是 美军 驻 巴 格 达 市 中 心 的 安全 地 带 ， 成 为 陕 达 
姆 : 亿 < 赛 因 审 判 律 师 团 中 的 一 名 律师 。 


他 主要 负责 后 勤 事 务 ， 而 不 是 相关 的 法 律 工作 。 他 负责 将 证 人 运送 到 
绿色 区 域 ， 其 间 和 需要 安全 通过 无 数 每 天 都 会 上 演 的 简易 爆炸 装置 袭击 
(IED) 。 他 看 到 了 军队 人 员 是 如 何 将 这 当 作 数 据 问题 来 进行 处 理 
的 。 情 报 分 析 员 结合 实地 考察 报告 和 过 去 IED 袭 击 地 点 、 时 间 和 人 员 
伤亡 的 详细 信息 ， 据 此 预测 一 天 中 最 安全 的 运送 路 线 。 


在 弗 劳 尔 回 到 纽约 两 年 后 ， 他 意识 到 这 些 方法 其 实 是 一 个 打击 犯罪 的 
有 力 方式 一 一 比 他 过 去 作为 检察 官 所 掌握 的 方式 更 檬 。 弗 劳 尔 之 后 被 
任命 为 专案 组 成 员 ， 研 究 可 能 揭露 2009 年 次 贷 丑 闻 罪 犯 的 数据 。 这 个 
团队 做 得 非常 出 色 ， 以 至 于 一 年 后 ， 纽 约 市 长 布 隆 伯 格 要 求 扩 大 规 
模 。 弗 劳 尔 成 了 全 市 首 个 “分 析 主 任 ”， 他 的 任务 就 是 找到 最 优秀 的 数 
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弗 萎 尔 为 了 找到 合适 的 人 而 广泛 撒 网 。"“ 我 对 经 验 丰 富 的 统计 学 家 没有 
兴趣 ， 我 担心 他 们 不 愿意 采取 这 种 新 方法 来 解决 问题 。” 当 他 采访 统计 
学 家 对 金融 诈骗 项 目的 看 法 时 ， 他 们 往往 会 提出 星 深 难 懂 的 数学 问 

题 。“ 我 甚至 没有 想到 我 要 使 用 什么 样 的 模式 。 我 想 妥 可 执行 的 洞察 
力 ， 这 征 我 所 关注 的 。” 他 说 。 最 后 ， 弗 攻 尔 一 共 挑 选 了 5 个 人 组 成 团 
队 ， 他 称 他 们 为 “小 伙 子 ”。 除 一 名 成 员外 ， 其 他 都 是 刚 毕业 一 两 年 的 
经 济 学 专业 学 生 ， 而 且 从 未 在 大 城市 生活 过 ， 但 他 们 都 很 有 创造 力 。 


他 们 最 早 处 理 的 事件 之 一 是 “非法 改建 >， 即 将 一 套 住房 隔 出 很 多 小 房 
间 ， 这 样 束 能 够 多 容纳 10 倍 的 人 。 非 法 改建 会 市 来 巨大 的 火灾 隐患， 
也 是 犯罪 、 毒 品 、 疾 病 和 虫害 孵化 的 温床 。 乱 厅 一 般 的 分 机 线 绳 会 治 
墙壁 罕 过 ， 电 炉 可 能 会 放 在 床单 的 上 面 ， 一 旦 发 生火 灾 ， 人 也 许 会 被 
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人 而 死亡 。 纽 约 市 每 年 会 受到 约 25000 起 非法 改建 的 投诉 ， 但 只 有 200 
名 检察 员 在 处 理 这 些 事情 。 似 乎 没有 什么 好 办 法 来 区 分 简单 的 滋 扰 事 
件 和 严重 的 爆炸 起 火 事件 。 但 对 弗 劳 尔 和 他 的 小 伙 子 们 来 说 ， 这 看 起 
来 更 像 是 一 个 可 以 用 大 量 数据 来 解决 的 问题 。 


他 们 将 城市 里 的 90 万 栋 建筑 都 列 在 表 上 ， 然 后 输入 来 自 19 个 不 同 机 构 
的 数据 集 。 这 些 数据 显示 了 建筑 业主 古人 否 拖欠 了 应 缴 房 产 税 ， 是 否 有 
止 赎 诉 讼 ， 古 否 有 公用 设施 使 用 异常 或 导致 服务 消减 的 未 付款 项 。 他 
们 还 输入 了 建筑 类 型 、 修 建 时 间 、 救 护 车 访问 次 数 、 犯 罪 率 和 哎 齿 动 
物 投诉 等 信息 。 然 后 ， 他 们 将 这 些 数据 与 五 年 来 的 火灾 严重 性 排名 数 
据 进 行 对 比 并 得 到 一 个 模型 ， 以 此 预测 哪些 投诉 迫切 需要 调查 。 


最 初 ， 许 多 数据 形式 都 不 可 用 。 例 如 ， 在 一 个 城市 里 ， 摘 述 地 理 位 置 
的 方法 不 是 唯一 的 ， 每 个 机 构 和 部 门 似乎 都 有 目 己 的 描述 方式 。 建 筑 
部 门 给 予 每 个 建筑 物 一 个 独特 的 号 码 ; 房屋 维护 部 门 也 有 目 己 独 有 的 
编号 系统 ; 税务 部 门 依照 街区 和 地 皮 ， 给 予 每 个 建筑 物 特 定 的 标识 ; 
警察 局 采用 和 华 卡 尔 坐 标 系 ; 消防 局 依托 “电话 至 ”临近 体系 ， 将 建筑 物 
与 各 个 消防 站 的 位 置 联系 在 一 起 ， 尽 管 这 些 电话 字 并 非 真 实 存 在 。 弗 
劳 尔 的 小 伙 子 们 处 理 这 种 不 统一 的 方式 是 :以 笛 卡 尔 坐 标 系 为 基础 ， 
取 用 建筑 物 周围 的 一 片 辐射 范围 并 从 其 他 机 构 的 数据 库 调 取 地 理 位 置 
数据 ， 从 而 建立 一 个 系统 。 这 些 数 据 本 喘 并 不 精确 ， 但 是 巨大 的 信息 
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尽管 如 此 ， 他 们 并 不 满足 于 仅仅 对 数据 进行 运算 ， 而 是 会 到 现场 观看 
今 查 员 的 工作 。 他 们 不 断 做 着 大 量 笔 记 ， 并 询问 一 切 流程 的 开展 效 
果 。 当 一 个 头发 斑 日 的 领 兴 人 兄 了 一 声 说 “找到 那个 建筑 不 是 问 

题 ?" 时 ， 他 们 很 想 知道 为 什么 这 个 人 会 这 么 目 信 。 但 领头 人 目 己 也 说 不 
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外 新 的 砖 工 ， 它 瞳 示 着 建筑 物 的 主人 很 重视 这 个 地 方 。 


小 伙 子 们 回 到 目 己 的 工作 间 ， 和 钻研 着 如 何 能 将 “新 的 砖 工 ” 作 为 一 种 信 

号 融入 到 他 们 的 模型 中 ， 毕 葛 ， 态 块 是 没有 被 数据 化 的 。 但 是 可 以 肯 

定 的 是 ， 做 任何 外 部 砖 工 部 需要 城市 许可 证 。 这 些 信息 都 可 以 用 于 所 

ee ewe a ree sega. 
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这 种 分 析 法 或 许 揭示 了 : 有 些 历 史 最 悠久 的 做 事 方法 并 不 是 最 好 的 ， 
忠 好 比 《 扩 球 成 金 》 中 的 球 探 们 不 得 不 接受 他 们 直觉 中 的 缺陷 一 样 。 
例如 ， 人 人们 将 城市 “311? 投 诉 热线 的 来 电 数量 作为 衡量 问题 广 重 性 的 指 
标 ， 来 电 越 多 说 明 问 题 越 严 重 。 但 是 这 种 引导 是 错误 的 。 在 繁华 的 上 
东区 发 现 一 只 老鼠 也 许 会 在 仅仅 一 个 小 时 之 内 引发 30 个 投诉 电话 。 然 
而 在 布朗 区 其 区， 街坊 只 有 在 看 到 成 群 结 队 的 老鼠 时 ， 才 会 觉得 有 必 
要 打 个 投诉 电话 。 同 样 ， 很 多 非法 改建 的 投诉 也 许 会 让 人 们 议论 纷 
纷 ， 但 是 其 后 果 并 没有 那么 严重 。 

2011 年 6 月 ， 弗 画 尔 和 他 的 小 伙 子 们 开始 局 用 他 们 的 系统 和 方法 。 他 们 


每 周 浏览 一 次 可 归 为 "非法 改建 ”一 类 的 投诉 ， 将 他 们 认为 前 59% 有 火灾 
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大 数据 的 力量 


在 大 数据 分 析 之 前 ， 检 查 员 会 完 跟 进 他 们 认为 最 急迫 的 投诉 ， 而 只 
139% 的 案件 足够 挛 重 ， 需 要 立刻 去 处 理 。 现 在 ， 他 们 立即 处 理 的 投诉 
案件 占 他 们 所 有 安全 监测 的 709%。 大 数据 和 省 了 检查 员 的 时 间 ， 将 效 
率 提 高 到 原来 的 5 倍 。 他 们 的 工作 也 越 来 越 令 人 满意 .精力 都 集中 于 最 
严重 的 问题 。 他 们 新 发 现 的 成 果 还 市 来 了 额外 利益 。 非 法 改建 中 的 火 
灾 更 可 能 导致 消防 员 受 伤 或 死亡 ， 概 率 是 普通 案件 的 15 倍 。 消 防 局 因 
此 非常 满意 。 弗 攻 尔 和 他 的 小 伙 子 们 束 好 像 巫师 一 样 ， 手 中 的 水 唱 球 
让 他 们 可 以 预见 未 来 ， 看 到 哪里 是 最 危险 的 。 他 们 利用 了 大 量 搁置 多 
年 的 数据 ， 这 些 数 据 目 收集 以 来 几乎 没 被 用 过 。 他 们 用 新 的 方法 管理 
这 些 信 息 ， 从 而 提取 出 它们 真正 的 价值 。 他 们 从 大 的 信息 库 中 释放 了 
洞察 力 ， 而 这 在 较 小 数据 中 十 做 不 到 的 ， 这 殉 是 大 数据 的 缩影 。 


纽约 市 分 析 炼 金 师 的 经 验 凸 显 了 本 书 中 的 不 少 主 题 。 他 们 使 用 了 庞大 
的 数据 量 ， 而 不 仅 是 一 些 数据 。 他 们 所 列 的 城市 建筑 基本 上 可 以 视 
为 "样本 = 总 体 ”。 位 置信 息 或 救护 车 记录 等 数据 比较 竣 乱 ， 但 是 这 并 没 
让 他 们 下 此 放弃 。 更 多 数据 所 市 来 的 好 处 远 比 原始 信息 少 所 市 来 的 星 
端 更 重要 。 他 们 之 所 以 能 取得 成 功 ， 是 因为 城市 的 很 多 功能 都 以 数据 
的 形式 呈现 〈 尽 管 存 在 不 一 致 ) ， 从 而 使 他 们 能 够 处 理 和 使 用 这 些 信 
思 来 提高 预测 效果 。 


专家 瞳 示 ， 无 论 是 目 大 的 统计 学 家 还 是 专 管 投 诉 热线 的 公务 员 ， 在 数 
据 驱 动 方法 面前 都 应 退 居 次席。 与 此 同时 ， 弗 务 尔 和 他 的 小 伙 子 们 不 


断 地 让 经 验 丰 富 的 检查 员 来 测试 他 们 的 模型 ,借鉴 检察 员 们 的 经 验 ， 
使 系统 表现 得 更 好 。 这 个 项 目 成 功 最 重要 的 原因 是 ， 它 更 多 依赖 的 是 
相关 关系 而 非 因果 关系 。 


“我 对 因 末 关 系 不 感 兴趣 ， 除 非 它 用 行动 说 话 。” 弗 劳 尔 解释 道 。“ 因 果 
关系 是 别人 的 事 ， 坦 日 说 ， 谈 论 因 果 关 系 是 非常 冒险 的 。 我 不 认为 有 
人 提出 房产 止 赎 程 序 和 那个 地 方 是 否 长 期 存在 结构 性 的 火灾 风险 之 间 
有 任何 关系 。 我 认为 这 么 想 很 思春 。 他 们 会 认为 有 一 些 庶 在 的 因素 ， 
但 没有 人 会 站 出 来 承认 。 我 不 想 深 究 这 个 ， 我 需要 一 个 能 够 把 握 的 特 
定数 据点 来 告诉 我 它 的 意义 。 如 采 它 很 重要 ， 我 们 束 会 采取 行动 。 如 
林 不 重要 ， 我 们 融 不 会 行动 。 你 知道 ， 我 们 有 真正 需要 解决 的 问题 。 
我 不 会 内 竹 ， 或 者 像 现在 一 样 想 着 因果 关系 的 事 儿 。” 


大 数据 时 代 ， 和 名 副 其 实 的 “信息 社会 ” 


大 数据 在 实用 层面 的 影响 很 广泛 ， 解 决 了 大 量 的 日 营 问 题 。 大 数据 更 
是 利害 依 关 的 ， 它 将 重 塑 我 们 的 生活 、 工 作 和 思维 方式 。 在 某 些 方 
面 ， 我 们 面临 着 一 个 僵局 ， 比 其 他 划时代 创新 引起 的 社会 信息 范围 和 
规模 急剧 扩大 所 带 来 的 影响 更 大 。 我 们 脚下 的 地 面 正在 移动 。 过 去 确 
定 无 疑 的 事情 正在 受到 质疑 。 大 数据 需要 人 们 重新 讨论 决策 、 命 运 和 
正义 的 性 质 。 我 们 的 世界 观 正 受到 相关 性 优势 的 挑战 。 拥 有 知识 曾 意 
味 看 掌握 过 去 ， 现 在 则 更 意味 着 能 够 预测 未 来 。 


当 我 们 准备 开发 电子 商务 、 离 生活 于 互联 网 、 进 入 计算 机 时 代 或 者 拿 
起 算 副 时 ， 这 些 事情 比 那 些 代 表 他 们 的 问题 更 加 重要 。 我 们 寻找 原因 
的 想法 可 能 被 高 什 了 ， 很 多 情况 下 ， 弄 清 杷 “是 什么 ? 比 找寻 “为 什 
么 ”更 加 重要 ， 因 为 前 者 表明 事实 才 是 我 们 生活 和 思维 的 基础 。 这 些 问 
题 可 能 没有 答案 。 或 许 ， 它 们 是 关于 人 在 宇宙 中 的 位 置 以 及 能 人 否 在 哈 
趾 混 乱 、 不 可 理喻 的 世界 中 寻找 到 意义 这 一 永恒 争论 的 一 部 分 。 


最 终 ， 大 数据 标志 着 “信息 社会 "终于 名 副 其 实 。 我 们 收集 的 所 有 数字 
信息 现在 都 可 以 用 新 的 方式 加 以 利用 。 我 们 可 以 笑 试 新 的 事物 并 开启 
新 的 价值 形式 。 但 是 ， 这 需要 一 种 新 的 思维 方式 ， 并 将 挑战 我 们 的 社 
会 机 构 ， 甚 至 挑战 我 们 的 认同 感 。 可 以 肯定 的 是 ， 数 据 量 将 继续 增 

长 ， 处 理 这 一 切 的 能 力也 是 如 此 。 但 是 ， 现 在 大 多 数 人 都 认为 大 数据 
征 一 个 技术 问题 ， 应 侧重 于 硬件 或 软件 ， 而 我 们 认为 应 当 更 多 地 考虑 
当 数据 说 话 时 会 发 生 什么 。 


大 数据 洞察 


现在 ， 我 们 可 以 获得 比 以 前 更 多 的 信息 并 进行 分 析 。 在 我 们 诠释 世界 
时 ， 数 据 不 再 是 限制 我 们 努力 的 因素 了。 我 们 可 以 利用 更 多 的 数据 ， 
菏 些 情况 下 ， 甚 至 是 全 部 数据 。 但 是 这 需要 我 们 采取 非 传统 的 方法 ， 
守 别 是 要 改变 我 们 理想 中 构成 有 用 信息 的 因素 。 


除了 纠结 于 数据 的 准确 性 、 正 确 性 、 纯 洁 度 和 严格 度 之 外 ， 我 们 也 应 
该 容许 一 些 不 精确 的 存在 。 数 据 不 可 能 是 完全 对 或 完全 错 的 。 当 数据 
的 规模 以 数量 级 增加 时 ， 这 些 混乱 也 束 算 不 上 问题 了 。 事 实 上 ， 它 其 
至 可 以 是 有 好 处 的 ， 因 为 当 我 们 只 想 使 用 一 小 部 分 时 ， 无 须 捕捉 这 人 么 


多 的 知识 细节 。 又 因为 我 们 可 以 用 更 快 更 便宜 的 方式 找到 数据 的 相关 
性 ， 并 且 效 果 往 往 更 好 ， 而 不 必 努 力 去 寻找 因 采 关系 。 当 然 在 某 些 情 
况 下 ， 我 们 仍然 需要 精心 策划 的 数据 来 做 因果 关系 研究 和 控制 实验 ， 
如 测试 药物 的 副作用 或 设计 关键 的 飞机 部 件 。 但 是 在 日 并 情况 下 ， 知 
道 “ 是 什么 ” 斌 已 经 足够 ,不必 非 要 弄 清 楚 “ 为 什么 *。 大 数据 的 相关 性 
将 人 们 指 况 了 比 探讨 因 采 关系 更 有 前 景 的 领域 。 


这 些 相 关 性 能 让 我 们 节省 机 票 钱 和 预测 流感 爆发 ， 并 知道 在 一 个 资源 

有 限 的 世界 中 应 该 检查 哪些 沙井 盖 和 过 度 拥 挤 的 建筑 物 。 它 可 以 帮助 
健康 保险 公司 不 做 体检 残 能 决定 保险 履 盖 面 ， 并 降低 提醒 病人 服药 的 
成 本 。 * 通过 六 数据 的 相关 人性， 语言 可 以 得 到 翻译 ， 汽 车 可 以 在 预测 的 
基础 上 目 行 区 驶 。 沃 尔 玛 可 以 了 解 峙 风 前 应 在 门店 准备 哪 种 口味 的 蛋 
乓 所 。 当 然 ， 如 果 能 从 中 得 到 因果 关系 更 好 。 问 题 是 ， 因 果 关 系 往往 
很 难 找到 ， 通 常 我 们 认为 找到 了 的 时 候 ， 都 是 在 上 自欺欺人。 


我 们 之 所 以 能 做 所 有 这 些 事 ， 痢 工具 只 是 个 很 小 的 因素 ， 无 论 是 更 快 
的 处 理 吉 、 更 多 的 存储 右 ， 还 是 更 智能 的 软件 和 算法 。 这 些 固然 重 
要 ， 但 是 更 为 根本 的 原因 是 我 们 拥有 了 更 多 的 数据 ， 继 而 世界 上 更 多 
的 事物 被 数据 化 了 。 诚 然 ， 人 类 量化 世界 的 雄心 先 于 计算 机 革命 ， 但 
征 数 字 工 具 将 数据 化 提升 到 了 新 的 高 度 。 不 仅 移动 电话 能 够 跟 踩 到 我 
们 呼叫 的 人 和 我 们 所 在 的 位 置 ， 而 且 同 样 的 数据 也 能 用 于 断定 我 们 是 
个 生病 了 。 不 久之 后 ， 它 或 许 还 能 够 辨别 我 们 是 否 恋爱 了 。 


大 数据 洞察 


我 们 “做 新 、 做 多 ` 做 好 、 做 快 的 能 力 能 释放 出 无 限 价值 ， 产 生 新 的 

万 家 和 输家 。 大 部 分 的 信息 价值 来 和 目 二 级 用 途 ， 即 潜在 价值 ， 而 不 是 

我 们 所 习惯 认为 的 基本 用 途 。 结 果 ， 对 于 大 多 数 数据 来 说 ， 尽 可 能 多 

地 收集 、 等 待 信息 增值 并 且 让 其 他 更 适合 挖掘 其 价值 的 人 来 分 析 它 才 
是 明智 之 举 〈 前 提 是 此 人 和 能够 分 享 开发 出 的 利润 ) 。 


能 置身 于 信息 流 中 央 并 且 能 收集 数据 的 公司 通常 会 繁 采 兴 上 旺 。 有 效 利 
用 大 数据 第 要 专业 技术 和 下 品 的 想 黎 力 ， 即 一 个 能 容纳 大 数据 的 心 

但 价值 的 核心 归功 于 数据 本 有 号。 有时， 重要 的 资产 并 不 仅仅 是 能 
消 直 看 到 的 信息 更 是 从 人 们 与 信息 交互 中 收集 到 的 数据 废气 ， 聪 明 
的 公司 可 以 用 它 来 改 矢 现 有 的 服务 ， 或 推出 全 新 的 服务 。 


大 数据 同时 也 给 我 们 带 来 了 巨大 的 风险 。 它 使 得 目前 用 以 保护 隐私 的 
法 律 手段 和 核心 技术 失去 了 效果 。 过 去 个 人 喘 份 信息 包含 的 是 名 字 、 
社会 安全 号 码 、 税 收 记录 等 ， 其 构成 商 单 明了 。 因 此 隐私 保护 相对 比 
较 简单 ， 只 要 确保 不 使 用 这 些 信息 即 可 。 而 今天 ， 即 使 是 最 无 害 的 数 
据 ， 只 要 被 数据 收集 右 采 集 到 足够 的 量 ， 也 会 歇 露 出 个 人 身份 。 匿 名 
化 或 是 单纯 隐藏 已 不 再 适用 。 不 仅 如 此 ， 现 在 要 是 对 某 人 进行 监督 ， 
必定 会 侵犯 到 较 之 以 往 范 围 更 广 的 个 人 隐私 内 容 。 因 为 政府 在 管理 上 
不 仅 要 求 个 人 信息 尽 可 能 完善 ， 还 记录 了 其 所 有 的 社会 天 系 、 交 往 和 
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无 论 大 数据 如 何 威胁 到 隐私 保护 ， 最 让 人 们 头疼 的 都 是 行为 倾 同 问 

题 。 大 数据 预测 的 准确 性 越 来 越 高 ， 它 能 够 预测 行为 的 发 生 ， 在 人 们 
犯错 之 前 ， 提 前 惩处 。 因 为 预测 的 结果 几乎 不 可 反驳 ， 人 们 也 惑 无 法 
为 目 己 开脱 。 但 这 种 基于 预测 得 出 的 怎 习 不 仅 违 育 目 由 意志 的 原则 ， 
同时 也 否定 了 人 们 会 突然 改变 选择 的 可 能 性 〈 无 论 可 能 性 有 多 小 ) 。 
当 我 们 给 一 个 人 判定 责任 GAP RET) 时 ， 必 须 牢记 人 类 意志 的 神 
芋 不 可 侵犯 性 。 人 类 的 未 来 必须 保留 部 分 空间 ， 人 允许 我 们 按照 目 己 的 
层 望 进行 塑造 。 否 则 ， 大 数据 将 会 扭 昌 人 类 最 本 质 的 东西 ， 即 理性 思 
维和 目 由 选择 。 


应 对 大 数据 的 测 涌 来 委 ， 我 们 没有 万 无 一 失 的 方法 ， 必 须 建 立 规范 目 
喘 的 新 准则 。 随 着 社会 越 来 越 熟悉 大 数据 的 特征 和 缺陷 ， 我 们 可 以 改 
变 一 系列 的 惯例 来 帮助 社会 应 对 这 种 冲击 。 我 们 需要 把 进行 隐私 保护 
的 黄 任 从 个 人 转移 到 数据 使 用 者 身上 ， 也 束 是 说 ， 数 据 使 用 者 应 该 以 
人 负责 任 的 态度 使 用 数据 。 


在 一 个 预测 的 时 代 里 ， 人 类 的 目 由 意志 神圣 而 不 可 侵犯 ， 这 一 点 不 可 
轻视 。 我 们 不 仅 需要 承认 个 人 进行 道德 选择 的 能 力 ， 还 要 强调 个 人 应 
为 目 我 行为 承担 贡 任 。 社 会 则 必须 采取 新 的 保护 措施 : 接受 一 种 新 的 
职业 人 ， 也 束 是 数据 算法 师 ， 对 大 数据 进行 深度 分 析 。 如 此 ， 因 为 大 
数据 而 变 得 可 预测 的 世界 ， 才 不 会 陷入 一 个 用 一 种 未 知 取 代 男 一 种 未 
知 的 困境 中 ， 不 会 变 成 一 个 黑匣子 。 


大 数据 将 成 为 理解 和 解决 当今 许多 紧迫 的 全 球 问题 所 不 可 或 缺 的 重要 
工具 。 例 如 要 应 对 气候 变化 问题 时 ， 需 要 对 污染 相关 数据 进行 分 析 ， 
得 出 最 佳 方案 ， 来 指导 努力 方向， 找 出 缓解 问题 的 方法 。 全 球 范围 内 
遍布 的 大 量 传 感 设 备 ， 包 括 智能 手机 内 部 的 传 感 左 ， 使 我 们 能 够 以 更 
高 的 细 世 水平 模拟 环境 。 而 世界 贫困 人 口 迫 切 需要 提高 医疗 保健 服 


务 ， 降 低 医疗 费用 ,这 很 大 程度 上 可 以 靠 目 动 化 来 实现 。 当 下 许多 似乎 
需要 人 类 判断 才能 进行 的 事情 ， 其 实 完 全 可 以 交 由 电脑 来 做 ， 比 如 交 
细胞 活 栓 、 传 染病 爆发 前 期 的 模式 预测 等 。 


大 数据 也 被 用 于 发 展 经 济 和 理解 如 何 预防 冲突 。 基 于 手机 动 问 数据 显 
示 ， 非 洲 许多 贫民 割地 区 经 济 活动 十 分 活路 。 大 数据 还 揭示 了 最 可 能 
引发 种 族 天 系 紧张 的 社区 以 及 解除 难民 危机 的 方式 。 只 有 当 科 技 应 用 
至 生活 的 方方面面 时 ， 大 数据 的 使 用 范围 才能 进一步 扩大 。 


大 数据 能 帮助 我 们 更 好 地 进行 已 有 的 工作 ， 并 处 理 全 新 的 事务 。 但 它 
绝 不 足 魔 术 棒 ， 不 会 市 来 世界 和 平 ， 无 法 根 绝 贫穷 问题 ， 更 不 能 创造 
出 另 一 个 毕加索 。 大 数据 不 能 造 要 儿 ， 虽 然 它 确实 可 以 救助 年 产儿 。 
不 要 多 久 ， 我 们 将 在 生活 的 各 个 方面 使 用 到 大 数据 ， 如 采 不 用 的 话 还 
可 能 会 引起 些许 焦虑 ， 这 种 情况 融 像 普通 体检 查 不 出 问题 时 ， 会 布 户 
有 医生 帮 有 我 们 预约 X 光 进行 检查 。 


当 大 数据 成 为 日 前 生 活 的 一 部 分 后 ， 它 将 会 极 大 地 改变 我 们 对 未 来 的 
看 法 。 大 约 五 百年 前 ， 欧 洲 在 逐渐 发 展 为 更 加 目 由 、 科 学 、 文 明 的 世 
界 的 进程 中 ， 欧 洲 人 经 历 了 对 时 间 认 知 的 重大 转变 。 在 此 之 前 ， 时 间 
被 认为 是 循环 的 ， 生 命 也 是 轮转 的 。 每 天 或 每 年 与 过 去 的 日 子 如 出 一 
和 ， 甚 至 连 生 命 的 终结 也 与 起 点 相似 ， 因 为 濒 死 的 成 人 会 显示 出 孩子 
的 特征 。 认 知 转变 后 ， 时 间 变 作 线 性 的 ， 成 了 一 条 岁月 演变 过 程 ， 过 
程 中 世界 因 人 变化 ， 生 命 的 轨迹 也 受到 相应 的 影响 。 如 采 说 这 以 前 的 
历史 中 ， 过 去 、 当 下 、 示 来 的 概念 是 完全 交织 在 一 起 的 ， 那 么 通过 塑 
造 当 下 ， 人 类 现在 便 有 了 过 去 可 以 回顾 ， 有 了 未 来 可 以 展望 。 


虽然 我 们 可 以 塑造 当下 ， 但 未 来 却 从 过 去 的 “完全 可 预测 ”转变 为 一 块 
开放 又 原始 、 广 阔 而 空 日 的 帆布 ， 所 有 人 都 可 以 在 上 面 依据 目 己 的 价 
值 ， 努 力 裁剪 塑 形 。“ 现 代 ” 的 一 个 定义 性 特征 便 古 人 类 感到 目 己 是 命 
运 的 主人 ， 这 使 我 们 与 生活 在 宿命 论 榨 楷 中 的 先 辜 们 截然 不 同 。 但 是 
大 数据 预测 却 又 使 我 们 的 生命 帆布 不 再 那么 开放 、 原 始 和 纯净 。 对 于 
疼 于 运用 科技 解读 未 来 的 人 来 说 ， 我 们 的 未 来 不 再 是 只 字 示 书 的 画 

布 ， 而 是 似乎 已 经 大 上 了 淡淡 的 僵 颜 。 未 来 的 可 预知 性 似乎 缩小 了 塑 
造 命运 的 空间 。 潮 在 的 可 能 性 在 概率 的 对 坛 上 被 解剖 。 & 

与 此 同时 ， 大 数据 义 意 味 着 我 们 将 永远 受 困 于 过 去 的 行为 ， 这 些 行为 


在 预知 我 们 下 一 步 动作 的 预测 过 程 中 与 我 们 作对 ， 即 我 们 永远 无 法 逃 
避 已 发 生 的 事 。 沙 士 比 亚 曾 写 道 : “凡是 过 去 ， 篆 为 序曲 。” 大 数据 通 


过 运算 将 这 人 沦 这 人 句 话 是 否 会 说 伸 我 们 


应 接 下 一 个 昌 出 的 热情 AARAA EMMI 


其 实 ， 事 实 很 有 可 能 是 相反 的 。 知 道行 为 在 未 来 如 何 谢幕 ， 我 们 便 可 
以 采取 补救 措施 ， 避 免 问 题 发 生 并 改善 结局 。 我 们 能 在 期 末 考 试 之 前 
早早 发 现 有 退步 趋势 的 学 生 。 我 们 能 检测 到 微小 的 癌变 ， 赶 在 疾病 完 
全 爆发 前 根治 。 我 们 能 看 到 青春 期 意外 姓 娠 的 可 能 性 ， 或 是 预测 到 某 
种 犯罪 生涯 ， 然 后 尽力 干预 ， 避 人 免 出 现 可 能 的 翡 剧 结局 。 例 如 拥挤 的 
纽约 住宅 着 火 的 时 候 ， 如 采 能 事先 知道 并 从 几 间 最 可 能 是 火 产 的 公寓 
着 手 ， 将 会 免除 一 场 致命 的 火灾 。 


没有 什么 是 上 天 注定 的 ， 因 为 我 们 总 能 束 手 中 的 信息 制定 出 相应 的 对 
策 。 大 数据 预测 结果 也 并 非 铁 定 ， 而 只 古 提 供 了 一 种 可 能 性 ， 也 就 是 
说 ， 只 要 我 们 愿意 ， 结 局 可 以 改写 。 我 们 可 以 判断 出 迎接 未 来 的 最 佳 
方式 ， 摇 身 变 作 未 来 的 主人 ， 正 如 英里 在 海 与 风 的 广阔 世界 中 乘 风 破 
浪 一 般 。 在 过 程 中 我 们 无 须 理 解 宇 宙 的 奥秘 或 是 去 证 明神 的 存在 ， 因 
为 大 数据 已 经 帮 我 们 做 好 了 。 


[1] 当 有 些 大 数据 拥护 者 叫嚣 “理论 已 死 * 的 时 候 ， 各 位 读者 是 否 回 到 了 
一 个 多 世纪 前 让 尼采 喊 出 “上帝 已 死 * 的 时 代 ? JORGE Rt 会 让 我 们 在 
寻找 意义 塑造 价值 的 道路 上 面 对 比 尼采 当时 更 困难 的 境况 。 一 一 译 者 


[2] 答案 ， 草 营 味 。 一 一 作者 注 
3] 意 指 潜在 可 能 发 生 的 所 有 事情 将 借 由 大 数据 分 析 而 获得 ， 一 种 概率 


译 者 注 
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更 大 的 数据 源 于 人 本 身 


大 数据 改造 了 我 们 的 生活 ， 它 能 优化 、 提 高 、 高 效 化 并 最 终 捕 提 住 利 
和 益 ， 那 直觉 、 信 和 仰 、 不 确定 性 和 创意 还 能 扮演 什么 角色 呢 ? 


忠 算 大 数据 无 法 教会 我 们 所 有 事情 ， 只 要 能 帮助 我 们 表现 更 佳 、 更 宦 
效率 、 取 得 进步 ， 就 算 缺 乏 深 入 理解 也 是 很 有 用 的 了 。 一 贯 如 是 地 坚 
持 下 去 才 有 效力 。 即 使 你 不 明日 为 什么 付出 的 努力 得 不 到 回报 ， 但 相 
比 不 努力 ， 你 要 明 昌 你 已 经 在 改善 事情 的 结局 了 。 纽 约 的 弗 萎 尔 和 他 
的 “小 伙 子 们 "也许 并 没有 圣人 圣明 的 判断 力 ， 但 他 们 确实 在 拯救 生 
Ce ee (A252 CERT TAA Sua, ERE E 
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大 数据 洞察 


大 数据 并 不 是 一 个 充斥 着 运算 法 则 和 机 器 的 冰冷 世界 ， 其 中 仍 需要 人 
类 扮演 重要 角色 。 人 类 独 有 的 弱点 、 错 觉 、 错 误 都 是 十 分 必要 的 ， 因 
为 这 些 特性 的 另 一 头 牵 着 的 是 人 类 的 创造 力 、 直觉 和 天 赋 。 偶 尔 也 会 
带 来 屈辱 或 固执 的 同样 混乱 的 大 脑 运作 ， 人 也 生 # 带 来 成 功 或 在 偶然 间 
促成 我 们 的 伟大 。 这 提示 我 们 应 该 乐于 接受 类 似 的 不 准确 ， 因为 不 准 
确 正 是 我 们 之 所 以 为 人 的 特征 之 一 。 就 好 像 我 们 学 习 处 理 混乱 数据 一 
样 ， 因 为 这 些 数据 服务 的 是 更 加 广大 的 目标 。 人 毕竟 混乱 构成 了 世界 的 
本 质 ， 也 构成 了 人 脑 的 本 质 ， 而 无 论 是 世界 的 寓 乱 还 是 人 脑 的 混乱 ， 
学 会 接受 和 应 用 它们 才能 得 益 。 


在 这 个 利用 数据 做 出 决定 的 世界 里 ， 人 类 存在 的 目的 是 什么 ? 难道 是 
为 了 运用 直觉 和 违背 事实 ? 如 条 所 有 人 都 诉 诸 数据 ， 都 利用 工具 ， 那 
时 人 类 的 无 法 预测 性 即 直觉、 冒险 精神 、 和 意外 和 错误 等 ， 反 倒 可 能 
挥 出 重大 作用 。 


SNARE SS BLE, ARATE ER, HEW + AAAI A 
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类 最 伟大 之 处 正 是 运算 法 和 侍 片 没有 揭示 也 无 法 揭示 的 东西 ， 因 为 数 
据 也 无 法 捕捉 到 这 些 。 并 不 是 “人 类 最 伟大 的 东西 是 什么 ”， 而 是 “什么 
不 是 人 类 最 伟大 的 产物 ”一 一 真空 、 人 行道 上 的 农 颖 、 未 说 出 口 的 话 还 
征 未 想到 的 事 ? 


这 为 “社会 进步 ”的 概念 提供 了 重要 局 示 。 大 数据 让 我 们 试验 的 速度 更 
快 ， 发 现 的 线索 更 多 。 这 理应 能 够 产生 更 多 的 创新 成 采 ， 但 发 明 的 火 
化 却 往往 存在 于 数据 未 显示 出 的 信息 之 中 ， 因 为 它 并 非 真实 存在 ， 和 是 
多 大 量 的 数据 都 永远 无 法 确定 或 证 实 的。 如 果 享 利 :福特 问 大 数据 他 的 
顾客 想 要 的 是 什么 ， 大 数据 将 会 回答 , “LERWA o” ERA 
的 世界 中 ， 包 括 创意 、 直 觉 、 冒 险 精 神 和 知识 野心 在 内 的 人 类 特性 的 
培养 显得 尤为 重要 ， 因 为 进步 正 是 源 目 我 们 的 独创 性 。 


大 数据 是 一 种 资源 ， 也 是 一 种 工具 。 它 告知 信息 但 不 解释 信息 。 它 指 
导 人 们 去 理解 ， 但 有 时 也 会 引起 误解 ， 这 取决 于 是 人 否 被 正确 使 用 。 大 
BURA SEAS AMER, BEWARE AME RDC BR, FP AH 
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科技 再 先进 也 无 法 将 世界 上 数据 的 总 量 ( 即 最 终 的 样本 = 总 体 ， 尽数 
收集 、 储 存 和 加 工 。 例 如 ， 欧 洲 粒子 物理 研究 所 (CERN) 位 于 日 内 
瓦 的 粒子 物理 实验 宇 在 试验 中 只 能 收集 到 不 到 0.1% 的 反馈 信息 ， 其 余 
信息 将 同 潜在 的 知识 一 起 消失 在 乙醚 中 。 这 种 情况 司空 见 惯 。 从 罗盘 
和 六 分 仪 ， 到 望远镜 和 雷达 ， 表 到 今天 的 全 球 定位 系统 ， 人 们 总 是 受 
到 现 有 测量 和 认 知 工具 的 局 限 。 我 们 明天 使 用 的 工具 很 可 能 比 今天 的 
强大 数 倍 甚 至 上 千 倍 ， 我 们 现在 所 拥有 的 知识 较 之 明天 可 能 束 显 得 微 
不 足 道 了 。 要 不 了 多 久 ， 当 我 们 回 看 当今 的 大 数据 世界 时 ， 束 像 在 看 
阿波 罗 11 号 上 仅 4Kb 内 存 的 导航 控制 计算 机 一 样 ， 会 觉得 十 分 奇特 。 


我 们 能 收集 和 处 理 的 数据 只 是 世界 上 极其 微小 的 一 部 分 。 这 些 信息 不 
过 是 现实 的 投影 一 一 柏拉图 洞穴 上 的 阴影 村 了 。 因 为 我 们 无 法 获得 完 
美的 信息 ， 所 以 做 出 的 预测 本 喘 殊 不 可 靠 。 但 这 也 不 代表 预测 就 一 定 
征 错 的， 只 十 永远 不 能 做 到 完善 。 这 也 并 未 否定 大 数据 的 判断 ， 而 只 
征 让 大 数据 发 挥 出 了 应 有 的 作用 。 大 数据 提供 的 不 是 最 终 答 案 ， 只 是 
参考 答案 ， 为 我 们 提供 和 暂时 的 帮助 ， 以 便 等 待 更 好 的 方法 和 答案 出 

0 


[1] 改编 自 至 利 :福特 的 名 言 一 一 “如 采 我 当年 去 问 顾客 他 们 想 要 什么 ， 
他 们 肯定 会 告诉 我 :“ 一 匹 更 快 的 马 。” 一 一 作者 注 


[2] 西方 谚语 有 云 : “预测 未 来 最 好 的 办 法 殉 是 创造 未 来 。” 这 句 话 在 大 
数据 时 代 汞 应 当 铭记 。 在 福特 时 代 ， 任 何人 都 无 法 从 数据 中 看 到 汽车 
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